[un/loquer] AUdio analysing - t-SNE y librosa

[stencil malibu]

Hola dani, ahora que lo desglosas y explicas como funciona pues se ve que
es súper interesante y encarretador tanto para los que hacemos sonido como
para los que programan.
(El del lienzo estuvo brutal)
GRACIAS.
El ago 10, 2015 3:15 a. m., "daniel gomez" <danielgomezmarin en gmail.com>
escribió:

> Pues en realidad es simple. Tomás un archivo de audio. Cualquiera (música,
> grabación de ambiente, de buena calidad, de mala calidad...) y lo analizás
> cada cierto tiempo.
>
> Hay dos maneras: (1) o buscás 'onsets' o lugares donde hay cambios bruzcos
> de energía y/o espectrales tratando de marcar el audio cada que hay un
> 'evento'. (2) no te metés en problemas y lo analizás cada x tiempo
> constante.
>
> Analizar significa encontrar características como energía, centroide del
> espectro, flatness del espectro, frecuencia fundamental, mfcc (muy útil en
> timbre)... cada cafacterística es un número o una lista de números, pero en
> general son pocas dimensiones.
>
> Entonces del análisis quedan estos datos:
> Tiempo del análisis (ms)
> Valor característica 1, valor característica 2... valor característica n.
> Por cada tiempo de análisis tenés una fila con todos los datos. Todo queda
> en una matriz inicialmente ordenada ascendentemente por el tiempo.
>
> Lo interesante es que podés ordenar esa matriz de acuerdo a cualquier
> columna (o característica de análisis) entonces los fragmentos que tienen
> valores similares quedan juntos.
>
> Podés también ordenarlos todos los fragmentos dadas tres dimensiones y así
> hacer las visualizaciones que mostraste. El eje x puede ser la energía, el
> y el tiempo de ataque y el z algun descritpr espectral... o cualquier
> combinación.
>
> Lo realmente interesante es que si seleccionás descriptores interesantes,
> para el material con el que estás trabajando, podrías tener un espacio en
> donde los fragmentos 'similares' están juntos y los 'diferentes' lejos.
>
> Este espacio se llama timbre space o espacio tímbrico. Y se lo imaginaron
> en los 60s desde la fonética y en los 70s lo usaron para clasificar sonidos
> de una orquesta segun su timbre (ver los papers de grey y wessel). La idea
> era encontrar los 3 ejes 'fundamentales' de el timbre. Algo así como el RGB
> que pudiera usarse para describir y diferenciar el timbre de los sonidos.
> Pero se dieron cuenta que el timbre es muy muy complejo y no puede
> simplificarse en RGB (aunque hay un primer modelo muy bonito que se llama
> 'tristimulus' que va por esa onda de tres dimensiones). El asunto es que el
> timbre es dinámico en el tiempo, se compone de variaciones temporales del
> espectro... entonces es dificil de simplificar. Sin embargo, dicen que los
> mfcc son los descriptores que mas sirven para 'describir' el timbre o por
> lo menos para agrupar los sonidos similares. (Hay un super artículo de
> terasawa sobre esto. 'The 13 colors of timbre'). Lo malo de los mfcc es que
> si leen la descripción es algo poco intuitivo entonces son basicamente
> números :-D pero nada que podamos relacionar claramente con nuestra
> percepción (es paradójico no? :-) ).
>
> Lo bacano del timbre space es que ofrece ese orden y puede usarse super
> bien para explorar sonoramente y visualmente un archivo de audio.
>
> Lo que hacen en los videos que yo mandé es aprovecharse de esa estructura
> y analizar nuevos sonidos. Entonces se hace una búsqueda con esta pregunta
> '¿dadas las características de este fragmento de audio que entra, cual es
> el fragmento del timbre space que se parece mas?' Terminan siendo entonces
> preguntas de búsquedas en base de datos y algoritmos de cercanía o
> 'similaridad'.
>
> Hay muchos mas detalles. Pero podemos ir conversando poco a poco. Los
> ejemplod de pd funncionan muy bien timbreID es la librería.
>
> Abrazos!
> El 9/8/2015 20:51, "brolin" <brolin108 en gmail.com> escribió:
>
>> Hola Dani,
>>
>> vos que sabés. Explicanos porfa un poquito qué eso lo pasa en estos
>> análisis.
>>
>> Saludos
>> -
>> b
>>
>> On Sun, Aug 9, 2015 at 7:13 AM, daniel gomez <danielgomezmarin en gmail.com>
>> wrote:
>>
>>> Este está buenísimo
>>> https://youtu.be/K5AgH1leBUU
>>> El 9/8/2015 14:05, "daniel gomez" <danielgomezmarin en gmail.com> escribió:
>>>
>>>> Uso industrial
>>>> https://youtu.be/56lq84Fx47g
>>>> El 9/8/2015 13:56, "daniel gomez" <danielgomezmarin en gmail.com>
>>>> escribió:
>>>>
>>>>> https://youtu.be/lx3paTRVndI
>>>>> El 9/8/2015 3:44, "brolin" <brolin108 en gmail.com> escribió:
>>>>>
>>>>>> https://vimeo.com/135511186
>>>>>>
>>>>>> _______________________________________________
>>>>>> unloquer mailing list
>>>>>> unloquer en lists.aktivix.org
>>>>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>>>>
>>>>>>
>>> _______________________________________________
>>> unloquer mailing list
>>> unloquer en lists.aktivix.org
>>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>>
>>>
>>
>> _______________________________________________
>> unloquer mailing list
>> unloquer en lists.aktivix.org
>> https://lists.aktivix.org/mailman/listinfo/unloquer
>>
>>
> _______________________________________________
> unloquer mailing list
> unloquer en lists.aktivix.org
> https://lists.aktivix.org/mailman/listinfo/unloquer
>
>
------------ próxima parte ------------
Se ha borrado un adjunto en formato HTML...
URL: <https://lists.aktivix.org/pipermail/unloquer/attachments/20150810/4c8e161c/attachment.html>