[un/loquer] AUdio analysing - t-SNE y librosa

Lun Ago 10 20:21:42 UTC 2015

Hey Checho!
Si. El del lienzo es muy inspirador. Me gustó mucho también.

Brol ya que está la explicación, vos usas este tipo de algoritmos para
analizar bases de datos en tu camello?

Sería un parche si nos contás que usarías para buscar una descripción nueva
(el audio que entra) en una matriz de un archivo de audio. Podríamos hacer
nuestros experimentos. :-)

El que puso brolin al principio se ve muy bacano. Se ve super bien la
estructura.
El 10/8/2015 16:56, "stencil malibu" <seliotoy at gmail.com> escribió:

> Hola dani, ahora que lo desglosas y explicas como funciona pues se ve que
> es súper interesante y encarretador tanto para los que hacemos sonido como
> para los que programan.
> (El del lienzo estuvo brutal)
> GRACIAS.
> El ago 10, 2015 3:15 a. m., "daniel gomez" <danielgomezmarin at gmail.com>
> escribió:
>
>> Pues en realidad es simple. Tomás un archivo de audio. Cualquiera
>> (música, grabación de ambiente, de buena calidad, de mala calidad...) y lo
>> analizás cada cierto tiempo.
>>
>> Hay dos maneras: (1) o buscás 'onsets' o lugares donde hay cambios
>> bruzcos de energía y/o espectrales tratando de marcar el audio cada que hay
>> un 'evento'. (2) no te metés en problemas y lo analizás cada x tiempo
>> constante.
>>
>> Analizar significa encontrar características como energía, centroide del
>> espectro, flatness del espectro, frecuencia fundamental, mfcc (muy útil en
>> timbre)... cada cafacterística es un número o una lista de números, pero en
>> general son pocas dimensiones.
>>
>> Entonces del análisis quedan estos datos:
>> Tiempo del análisis (ms)
>> Valor característica 1, valor característica 2... valor característica n.
>> Por cada tiempo de análisis tenés una fila con todos los datos. Todo queda
>> en una matriz inicialmente ordenada ascendentemente por el tiempo.
>>
>> Lo interesante es que podés ordenar esa matriz de acuerdo a cualquier
>> columna (o característica de análisis) entonces los fragmentos que tienen
>> valores similares quedan juntos.
>>
>> Podés también ordenarlos todos los fragmentos dadas tres dimensiones y
>> así hacer las visualizaciones que mostraste. El eje x puede ser la energía,
>> el y el tiempo de ataque y el z algun descritpr espectral... o cualquier
>> combinación.
>>
>> Lo realmente interesante es que si seleccionás descriptores interesantes,
>> para el material con el que estás trabajando, podrías tener un espacio en
>> donde los fragmentos 'similares' están juntos y los 'diferentes' lejos.
>>
>> Este espacio se llama timbre space o espacio tímbrico. Y se lo imaginaron
>> en los 60s desde la fonética y en los 70s lo usaron para clasificar sonidos
>> de una orquesta segun su timbre (ver los papers de grey y wessel). La idea
>> era encontrar los 3 ejes 'fundamentales' de el timbre. Algo así como el RGB
>> que pudiera usarse para describir y diferenciar el timbre de los sonidos.
>> Pero se dieron cuenta que el timbre es muy muy complejo y no puede
>> simplificarse en RGB (aunque hay un primer modelo muy bonito que se llama
>> 'tristimulus' que va por esa onda de tres dimensiones). El asunto es que el
>> timbre es dinámico en el tiempo, se compone de variaciones temporales del
>> espectro... entonces es dificil de simplificar. Sin embargo, dicen que los
>> mfcc son los descriptores que mas sirven para 'describir' el timbre o por
>> lo menos para agrupar los sonidos similares. (Hay un super artículo de
>> terasawa sobre esto. 'The 13 colors of timbre'). Lo malo de los mfcc es que
>> si leen la descripción es algo poco intuitivo entonces son basicamente
>> números :-D pero nada que podamos relacionar claramente con nuestra
>> percepción (es paradójico no? :-) ).
>>
>> Lo bacano del timbre space es que ofrece ese orden y puede usarse super
>> bien para explorar sonoramente y visualmente un archivo de audio.
>>
>> Lo que hacen en los videos que yo mandé es aprovecharse de esa estructura
>> y analizar nuevos sonidos. Entonces se hace una búsqueda con esta pregunta
>> '¿dadas las características de este fragmento de audio que entra, cual es
>> el fragmento del timbre space que se parece mas?' Terminan siendo entonces
>> preguntas de búsquedas en base de datos y algoritmos de cercanía o
>> 'similaridad'.
>>
>> Hay muchos mas detalles. Pero podemos ir conversando poco a poco. Los
>> ejemplod de pd funncionan muy bien timbreID es la librería.
>>
>> Abrazos!
>> El 9/8/2015 20:51, "brolin" <brolin108 at gmail.com> escribió:
>>
>>> Hola Dani,
>>>
>>> vos que sabés. Explicanos porfa un poquito qué eso lo pasa en estos
>>> análisis.
>>>
>>> Saludos
>>> -
>>> b
>>>
>>> On Sun, Aug 9, 2015 at 7:13 AM, daniel gomez <danielgomezmarin at gmail.com
>>> > wrote:
>>>
>>>> Este está buenísimo
>>>> https://youtu.be/K5AgH1leBUU
>>>> El 9/8/2015 14:05, "daniel gomez" <danielgomezmarin at gmail.com>
>>>> escribió:
>>>>
>>>>> Uso industrial
>>>>> https://youtu.be/56lq84Fx47g
>>>>> El 9/8/2015 13:56, "daniel gomez" <danielgomezmarin at gmail.com>
>>>>> escribió:
>>>>>
>>>>>> https://youtu.be/lx3paTRVndI
>>>>>> El 9/8/2015 3:44, "brolin" <brolin108 at gmail.com> escribió:
>>>>>>
>>>>>>> https://vimeo.com/135511186
>>>>>>>
>>>>>>> _______________________________________________
>>>>>>> unloquer mailing list
>>>>>>> unloquer at lists.aktivix.org
>>>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>>>
>>>>>>>
>>>> _______________________________________________
>>>> unloquer mailing list
>>>> unloquer at lists.aktivix.org
>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>
>>>>
>>>
>>> _______________________________________________
>>> unloquer mailing list
>>> unloquer at lists.aktivix.org
>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>
>>>
>> _______________________________________________
>> unloquer mailing list
>> unloquer at lists.aktivix.org
>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>
>>
> _______________________________________________
> unloquer mailing list
> unloquer at lists.aktivix.org
> https://lists.aktivix.org/mailman/listinfo/unloquer
>
>
-------------- next part --------------
An HTML attachment was scrubbed...
URL: <https://lists.aktivix.org/pipermail/unloquer/attachments/20150810/fbb4589a/attachment-0001.html>