[un/loquer] AUdio analysing - t-SNE y librosa

Sab Ago 15 15:08:08 UTC 2015

La verdad no uso estos algoritmos pero si quisiera aprender. Podríamos
plantearnos un experimento sencillo que nos permita ir aprendiendo.

Saludos,
-
b

2015-08-10 15:21 GMT-05:00 daniel gomez <danielgomezmarin en gmail.com>:

> Hey Checho!
> Si. El del lienzo es muy inspirador. Me gustó mucho también.
>
> Brol ya que está la explicación, vos usas este tipo de algoritmos para
> analizar bases de datos en tu camello?
>
> Sería un parche si nos contás que usarías para buscar una descripción
> nueva (el audio que entra) en una matriz de un archivo de audio. Podríamos
> hacer nuestros experimentos. :-)
>
> El que puso brolin al principio se ve muy bacano. Se ve super bien la
> estructura.
> El 10/8/2015 16:56, "stencil malibu" <seliotoy en gmail.com> escribió:
>
>> Hola dani, ahora que lo desglosas y explicas como funciona pues se ve que
>> es súper interesante y encarretador tanto para los que hacemos sonido como
>> para los que programan.
>> (El del lienzo estuvo brutal)
>> GRACIAS.
>> El ago 10, 2015 3:15 a. m., "daniel gomez" <danielgomezmarin en gmail.com>
>> escribió:
>>
>>> Pues en realidad es simple. Tomás un archivo de audio. Cualquiera
>>> (música, grabación de ambiente, de buena calidad, de mala calidad...) y lo
>>> analizás cada cierto tiempo.
>>>
>>> Hay dos maneras: (1) o buscás 'onsets' o lugares donde hay cambios
>>> bruzcos de energía y/o espectrales tratando de marcar el audio cada que hay
>>> un 'evento'. (2) no te metés en problemas y lo analizás cada x tiempo
>>> constante.
>>>
>>> Analizar significa encontrar características como energía, centroide del
>>> espectro, flatness del espectro, frecuencia fundamental, mfcc (muy útil en
>>> timbre)... cada cafacterística es un número o una lista de números, pero en
>>> general son pocas dimensiones.
>>>
>>> Entonces del análisis quedan estos datos:
>>> Tiempo del análisis (ms)
>>> Valor característica 1, valor característica 2... valor característica
>>> n. Por cada tiempo de análisis tenés una fila con todos los datos. Todo
>>> queda en una matriz inicialmente ordenada ascendentemente por el tiempo.
>>>
>>> Lo interesante es que podés ordenar esa matriz de acuerdo a cualquier
>>> columna (o característica de análisis) entonces los fragmentos que tienen
>>> valores similares quedan juntos.
>>>
>>> Podés también ordenarlos todos los fragmentos dadas tres dimensiones y
>>> así hacer las visualizaciones que mostraste. El eje x puede ser la energía,
>>> el y el tiempo de ataque y el z algun descritpr espectral... o cualquier
>>> combinación.
>>>
>>> Lo realmente interesante es que si seleccionás descriptores
>>> interesantes, para el material con el que estás trabajando, podrías tener
>>> un espacio en donde los fragmentos 'similares' están juntos y los
>>> 'diferentes' lejos.
>>>
>>> Este espacio se llama timbre space o espacio tímbrico. Y se lo
>>> imaginaron en los 60s desde la fonética y en los 70s lo usaron para
>>> clasificar sonidos de una orquesta segun su timbre (ver los papers de grey
>>> y wessel). La idea era encontrar los 3 ejes 'fundamentales' de el timbre.
>>> Algo así como el RGB que pudiera usarse para describir y diferenciar el
>>> timbre de los sonidos. Pero se dieron cuenta que el timbre es muy muy
>>> complejo y no puede simplificarse en RGB (aunque hay un primer modelo muy
>>> bonito que se llama 'tristimulus' que va por esa onda de tres dimensiones).
>>> El asunto es que el timbre es dinámico en el tiempo, se compone de
>>> variaciones temporales del espectro... entonces es dificil de simplificar.
>>> Sin embargo, dicen que los mfcc son los descriptores que mas sirven para
>>> 'describir' el timbre o por lo menos para agrupar los sonidos similares.
>>> (Hay un super artículo de terasawa sobre esto. 'The 13 colors of timbre').
>>> Lo malo de los mfcc es que si leen la descripción es algo poco intuitivo
>>> entonces son basicamente números :-D pero nada que podamos relacionar
>>> claramente con nuestra percepción (es paradójico no? :-) ).
>>>
>>> Lo bacano del timbre space es que ofrece ese orden y puede usarse super
>>> bien para explorar sonoramente y visualmente un archivo de audio.
>>>
>>> Lo que hacen en los videos que yo mandé es aprovecharse de esa
>>> estructura y analizar nuevos sonidos. Entonces se hace una búsqueda con
>>> esta pregunta '¿dadas las características de este fragmento de audio que
>>> entra, cual es el fragmento del timbre space que se parece mas?' Terminan
>>> siendo entonces preguntas de búsquedas en base de datos y algoritmos de
>>> cercanía o 'similaridad'.
>>>
>>> Hay muchos mas detalles. Pero podemos ir conversando poco a poco. Los
>>> ejemplod de pd funncionan muy bien timbreID es la librería.
>>>
>>> Abrazos!
>>> El 9/8/2015 20:51, "brolin" <brolin108 en gmail.com> escribió:
>>>
>>>> Hola Dani,
>>>>
>>>> vos que sabés. Explicanos porfa un poquito qué eso lo pasa en estos
>>>> análisis.
>>>>
>>>> Saludos
>>>> -
>>>> b
>>>>
>>>> On Sun, Aug 9, 2015 at 7:13 AM, daniel gomez <
>>>> danielgomezmarin en gmail.com> wrote:
>>>>
>>>>> Este está buenísimo
>>>>> https://youtu.be/K5AgH1leBUU
>>>>> El 9/8/2015 14:05, "daniel gomez" <danielgomezmarin en gmail.com>
>>>>> escribió:
>>>>>
>>>>>> Uso industrial
>>>>>> https://youtu.be/56lq84Fx47g
>>>>>> El 9/8/2015 13:56, "daniel gomez" <danielgomezmarin en gmail.com>
>>>>>> escribió:
>>>>>>
>>>>>>> https://youtu.be/lx3paTRVndI
>>>>>>> El 9/8/2015 3:44, "brolin" <brolin108 en gmail.com> escribió:
>>>>>>>
>>>>>>>> https://vimeo.com/135511186
>>>>>>>>
>>>>>>>> _______________________________________________
>>>>>>>> unloquer mailing list
>>>>>>>> unloquer en lists.aktivix.org
>>>>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>>>>
>>>>>>>>
>>>>> _______________________________________________
>>>>> unloquer mailing list
>>>>> unloquer en lists.aktivix.org
>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>
>>>>>
>>>>
>>>> _______________________________________________
>>>> unloquer mailing list
>>>> unloquer en lists.aktivix.org
>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>
>>>>
>>> _______________________________________________
>>> unloquer mailing list
>>> unloquer en lists.aktivix.org
>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>
>>>
>> _______________________________________________
>> unloquer mailing list
>> unloquer en lists.aktivix.org
>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>
>>
> _______________________________________________
> unloquer mailing list
> unloquer en lists.aktivix.org
> https://lists.aktivix.org/mailman/listinfo/unloquer
>
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://lists.aktivix.org/pipermail/unloquer/attachments/20150815/26c68b25/attachment.html>