Actualización a Montevideo Bicis con datos de accidentes 2016

Publicado el Miércoles, 29 de noviembre de 2017

Montevideo Bicis es un sitio web que presenta información objetiva para gente que quiera circular en bicicleta en Montevideo. Aprovecha Datos Abiertos de la Intendencia de Montevideo y UNASEV.

UNASEV liberó los datos de accidentes de tránsito de 2016, así que aproveché para actualizar un poco el sitio. El formato del archivo de datos cambió respecto a años anteriores. Pero quienes hemos trabajado con muchos datos abiertos de distintas fuentes, sabemos que pocos cumplen con los 10 mandamientos del Open Data.

No publicarás Datos Impuros

Para procesar los CSV's, tengo que convertirlos a UTF-8 desde el formato ISO_8859-1 que creo que es un formato en el que exporta Office en Windows. Y en el caso de los del año 2016, tuve que cambiar el separador de los CSV de tabulador a ; y eliminar las comillas dobles para conservar consistencia con los años anteriores. Para eso tengo un script en bash que se encarga de todo, algo así:



#!/bin/sh

iconv -f ISO_8859-1 -t UTF-8 Personas_fallecidas_en_2012.csv > 2012.csv

...

iconv -f ISO_8859-1 -t UTF-8 Fallecidos_2016.txt | sed 's/\t/";"/g' | sed 's/\"//g' > 2016.csv

Este año también se le agregó tilde a la palabra "CAÍDA", por lo que el procesamiento de datos tiene que contemplar ambas posibilidades, con y sin tildes.

Ya que estaba aproveché a refactorizar bastante el código. Se notaba que el proyecto estaba hecho a las apuradas y repetí cantidades abismales y vergonzosas de código. Borré muchas líneas de código (oh, satisfacción...) y escribí un código un poco más entendible. El sitio sigue teniendo básicamente la misma funcionalidad y seguramente no haya cambiado la velocidad de carga ni nada. Pero seguiré manteniéndolo actualizado cuando pueda y con suerte algún día tendré tiempo para dedicarle un poco más y que crezca.

Un aspecto positivo que muestra el sitio, es que en 2016 hubieron menos accidentes de tránsito fatales respecto a los años anteriores, al menos así está registrado en los datos abiertos de UNASEV.

Si les interesa el tema, pueden visitar MontevideoBicis.com, y ver el código fuente en GitHub.