[un/loquer] Agentes de calidad del aire

Sab Abr 8 08:20:54 UTC 2017

hola
creé este repositorio en el github de unloquer
https://github.com/unloquer/calidaddelaire_python

por el momento usa los últimos datos de
https://raw.githubusercontent.com/daquina-io/visualizacionCalidadAire/maste/data/points.csv

que me los descargué ayer. así que es offline con un archivo local (se
llama csv_brolin).
si lo prueban y créen que puede servir en el pipeline de análisis lo
seguimos trabajando.

a mi se me ocurre insertarlo de esta manera en el proceso:
json online -> filtrar en python -> exportar csv (o json) -> visualización
online heatmap

filtrar:
- revisar los tags inválidos y tratar de "sanarlos" como hemos comentado
- ajustar las mediciones segun lo que nos explica la doctora Eliette
- usar algunos valores de búsqueda para filtrar los datos (i.e. exportar
sábados de 6am a 4:40 pm)

en el fondo sería como un api que se conecta a la base de datos (estaría
por hacerse la conexión, definir la(s) bases de datos, etc) y que la
función de filtrado responda a algunas variables externas (datos de la
búsqueda) y que después reporta esos datos en un formato legible por el
heatmap.

en términos prácticos sería poder llamar estas funciones desde la página de
visualización:
http://www.daquina.io/visualizacionCalidadAire/ con un par de widgets que
llamarían la función de python (¿php->python?). yo no se nada de python en
servidores ni de php ni de hacer las conexioines entre ambos. así que esto
es pura especulación.

pero estoy atento a seguir ayudando en python si les parece que vale la
pena o solamente comentando las ideas. si se decide que el trabajo debe ser
en R podría ponerme también a reforzar R y ayudar por ahi.

saludos!!!

El 7 de abril de 2017, 15:28, Miguel Vargas <miguelito.vargasf at gmail.com>
escribió:

> por que no suben al repositorio de unloquer?
>
> 2017-04-07 8:23 GMT-05:00 Eliette Restrepo <elietterestrepo at gmail.com>:
>
>> La sexta es la vencida. Disculpas al administrador de la lista por enviar
>> correos que exceden el tamaño permitido.
>>
>> Intento de nuevo:
>>
>> ¿Esa aproximación no nos afectaría las revelaciones del mapa? supongamos
>> que el ciclista hace un recorrido haciendo zigzag entre la calle colombia
>> (muy contaminada) y la calle paralela (menos contaminada) normalizar no nos
>> haría ver ambas calles con un nivel similar?  porque justamente la
>> bicicleta lo que nos permite, ventaja sobre las estaciones fijas, es poder
>> marcar esas diferencias entre calles.
>>
>> En este caso"normalizar" equivale a elimiar el "background noise" de la
>> señal para poder ver su valor "real". *OJO: no es una aproximación. *
>> Esto se puede ilustrar con un ejemplo (también se puede demostrar, pero
>> por ahora la ilustración será suficiente).
>> A continuación la ilustración (ahora sin error en el caso A):
>> 
>>  I1.jpg
>> <https://drive.google.com/file/d/0B5yPR1fZDHLFelJCbVhucEhMWmc/view?usp=drive_web>
>> 
>>  I2.jpg
>> <https://drive.google.com/file/d/0B5yPR1fZDHLFdlFWaUdaR1NTd1U/view?usp=drive_web>
>> 
>>
>> En el caso de la velocidad...
>>
>> ¿Esta aproximación nos nos pondría vulnerables en los semáforos y tacos?
>> en la reunión del SIATA salió justamente que los puntos más críticos de
>> emisión de parte de los carros son los tacos o semáforos y quisieramos
>> poder revelar eso.
>>
>> En este caso se sigue el mismo método de no sumar pingüiñoños con
>> cacarranas. Es decir, si lo que se quiere es comparar la concentración de
>> PM en semáforos y tacos, la velocidad de referencia o "estándar" será 0 y
>> sólo se deben promediar las mediciones que se hagan a esa velocidad.
>> Si lo que se quiere es comparar la concentración en semáforos y tacos con
>> la concentración mientras se circula normalmente, las mediciones se deben
>> normalizar antes de promediarlas. Otra posibilidad sería normalizarlas por
>> el volumen de aire que entra al sensor.
>> @ Brolin, ¿es posible saber éste volumen?. Si sabemos el volumen de aire
>> que entra al sensor, podemos eliminar los "ruidos" de tiempo, velocidad,
>> etc.
>>
>> ¿Llegan las imágenes?
>>
>> 2017-04-07 14:37 GMT+02:00 federico lopez <fede2001 at gmail.com>:
>>
>>> No me llegó las ilustraciones que mencionas, será por los adjuntos?
>>>
>>> El 7 abr. 2017 7:13 AM, "Eliette Restrepo" <elietterestrepo at gmail.com>
>>> escribió:
>>>
>>>> --  Acerca de si la medición del sensor es relativa o absoluta...
>>>>
>>>>
>>>>> Otro opción sería medir la velocidad de la bicicleta y definir una
>>>>> velocidad "estándar". Las mediciones de PM25 que se tomen mientras la bici
>>>>> va por fuera de la velocidad estándar se eliminarían. Por ejemplo, las
>>>>> mediciones que se tomen cuando la velocidad es 0 no se toman en cuenta para
>>>>> el promedio.
>>>>>
>>>>
>>>> esto es si la medición es relativa, pero si es absoluta entonces no se
>>>> necesitaría cierto?
>>>>
>>>> Cierto. Si la medida es absoluta no se necesita hacer la normalización.
>>>> Pero si el conjunto de medidas dependende del tiempo, de igual manera se
>>>> deben normalizar sobre el tiempo antes de promediarlas.
>>>>
>>>> --  Acerca del experimento del pancake...
>>>>
>>>> y este es el gráfico del segundo experimento, el del pancake.
>>>> http://www.howmuchsnow.com/arduino/airquality/sharpdyloscompare2.gif
>>>>
>>>> yo entiendo que el voltaje baja es porque las partículas se disminuyen.
>>>>
>>>> En cambio yo entiendo que el voltaje disminuye por que el sensor se
>>>> satura y ya no puede medir más de lo que ya midió...
>>>>
>>>> @ Brolin: traté de encontrar la documentación del sensor para aclarar
>>>> cómo se da la medición, pero no logré ubicarme en las carpetas y
>>>> piratepads... ¿me podrías indicar por favor en qué lugar puedo encontrar
>>>> ésto?
>>>>
>>>> -- Acerca de la ilustración que envié en el correo anterior...
>>>>
>>>> **En la ilustración del correo anterior hay un error en el caso A: yo
>>>> escribí "cuando el tiempo en calle Colombia es menor que en calle Paralela"
>>>> y ésto lo representé como ">", debería ser "<". Espero no haber causado
>>>> confusión.**
>>>>
>>>>
>>>> 2017-04-07 13:48 GMT+02:00 federico lopez <fede2001 at gmail.com>:
>>>>
>>>>>
>>>>>
>>>>> 2017-04-07 2:58 GMT-05:00 daniel gomez <danielgomezmarin at gmail.com>:
>>>>>
>>>>>> Buenos días!
>>>>>> Trato de organizar por temas lo que se ha escrito los últimos días
>>>>>> para que sea más fácil leer y referirse a cada asunto.
>>>>>>
>>>>>> *promedio*
>>>>>> Pongo un ejemplo para que podamos tomar decisiones de como calcular
>>>>>> los datos acumulados para un mismo punto:
>>>>>>
>>>>>> lista de pm25 para un punto X =(2,3,4,2,5)
>>>>>>
>>>>>> media = (2+3+4+2+5)/5=*3.2*
>>>>>>
>>>>>> media acumulada:
>>>>>> (2+3)/2=2.5
>>>>>> (2.5+4)/2=3.25
>>>>>> (3.25+2)/2=2.625
>>>>>> (2.625+5)/2=*3.81*
>>>>>>
>>>>>> los dos métodos muestran propiedades diferentes de los datos y por lo
>>>>>> tanto el resultado es diferente para los mismos datos: 3.2 y 3.81. En el
>>>>>> primero todas las mediciones tienen el mismo peso o importancia. En el
>>>>>> segundo (el que está implementado en este momento) las últimas mediciones
>>>>>> tienen mucho más peso que las primeras mediciones.
>>>>>>
>>>>>> Según lo que entiendo que interesa para el mapa lo mejor es usar la
>>>>>> media y no la media acumulada.
>>>>>>
>>>>>> Si puedo tener acceso a uno de los datasets en csv podría aportar un
>>>>>> script de python para que calcule la media y entregue los datos para el
>>>>>> mapa.
>>>>>>
>>>>>
>>>>> Acá están los datos, Brolin va agregando cada recorrido al final
>>>>> https://raw.githubusercontent.com/daquina-io/visualizacionC
>>>>> alidadAire/master/data/points.csv
>>>>>
>>>>>
>>>>>>
>>>>>>
>>>>>>
>>>>>> *mapa(s)*
>>>>>> Si leo bien, hay muchas maneras posibles de visualizar los datos y no
>>>>>> hay una definitiva o mejor. Tal vez se deberían pasar unos cuantos correos
>>>>>> definiendo las más útiles y luego trabajar para lograrlas.
>>>>>>
>>>>>> Un pequeño aporte puede ser la lista de deseos que recopilo de los
>>>>>> correos anteriores.
>>>>>> - Detalle suficiente para revelar diferencia entre un punto de flujo
>>>>>> continuo y los puntos donde los carros paran.
>>>>>> - Ver recorrido completo de un usuario, revelando todas las
>>>>>> mediciones acumuladas en un punto x por el que se ha pasado varias veces:
>>>>>> visualizar el promedio (media) pero poder consultar todas las mediciones en
>>>>>> ese mismo punto.
>>>>>> - Hacer un mash de varios usuarios, haciendo la media de todos los
>>>>>> datos. se puede acumular por diferentes temporalidades: todo, por días de
>>>>>> la semana, por horas, por semanas, etc...
>>>>>> - tener la opción de calibrar los datos de un mapa con los datos del
>>>>>> SIATA. Si un usuario pasa por una zona donde está una torre del SIATA y se
>>>>>> comparan las mediciones, todos los valores del usuario de ese día se
>>>>>> escalan para calibrarse con el SIATA.
>>>>>>
>>>>>> si se me escapa algo sería bueno complementar esta lista.
>>>>>>
>>>>>> saludos,
>>>>>>
>>>>>> D
>>>>>>
>>>>>>
>>>>>>
>>>>>> _______________________________________________
>>>>>> unloquer mailing list
>>>>>> unloquer at lists.aktivix.org
>>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>>
>>>>>>
>>>>>
>>>>> _______________________________________________
>>>>> unloquer mailing list
>>>>> unloquer at lists.aktivix.org
>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>
>>>>>
>>>>
>>>> _______________________________________________
>>>> unloquer mailing list
>>>> unloquer at lists.aktivix.org
>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>
>>>>
>>> _______________________________________________
>>> unloquer mailing list
>>> unloquer at lists.aktivix.org
>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>
>>>
>>
>> _______________________________________________
>> unloquer mailing list
>> unloquer at lists.aktivix.org
>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>
>>
>
> _______________________________________________
> unloquer mailing list
> unloquer at lists.aktivix.org
> https://lists.aktivix.org/mailman/listinfo/unloquer
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://lists.aktivix.org/pipermail/unloquer/attachments/20170408/3a2b36e3/attachment-0001.html>