SEMINIARIO III: Músicos y usuarios de Implante Coclear [ESPAÑOL/ ENGLISH]

El objetivo del Seminario III consistía en que músicos y usuarios de implante coclear interactuaran los unos con los otros. Los músicos prepararon algunos experimentos y mostraron partes de sus piezas a los usuarios de implante coclear. Se trataba de corroborar si los músicos habían comprendido como es la percepción musical con el implante coclear.

El Seminario se organizó en tres estaciones de trabajo. En total participaron 6 usuarios de IC, 4 músicos y 3 ingenieros. Dividimos a los usuarios de implante coclear en parejas (3 grupos) y cada pareja fue distribuida en una habitación diferente. La habitación uno era un estudio de música con un piano, la segunda habitación era otro estudio de música con la ReacTable y la guitarra. Finalmente, la tercera habitación estaba equipada con un PC para realizar experimentos psicoacústiocos así como otro PC para presentar visualizaciones de sonido a través de una pantalla.

La idea del seminario es que cada pareja estuviera 30 minutos en cada habitación y rotaran a la siguiente habitación.

 

English:

The aim of the Seminar III was that musicians and cochlear implant users interact with each other. Musicians prepared experiments and showed some parts of their pieces to cochlear implant users. The goal for them was to corroborate was if  what they have learned  during the previous two seminars was correct.

The Seminar was composed by three workstations. In total six CI users, 4 musicians and 3 engineers participated of this Seminar. We divided the cochlear implant users in pairs (3 groups) and each pair was distributed in a different room/workstation. The first room was a music studio with a piano, the second room was another music studio with a ReacTable and guitar. Finally, the third room was equipped with a PC to perform psychophysical experiments and another PC to present visualizations of sound through a screen.

The idea of the seminar was that each pair of CI users should spent 30 minutes in each room and rotate to the next one.

Con la ReacTable, Sergio Naddei, pudo corroborar como se perciben los tonos puros y los tonos complejos. Con un experimento sencillo sobre la ReacTable generó un tono puro con el que pudo variar la frecuencia desde tonos graves a tonos agudos preguntando a los usuarios de implante coclear si podían percibir los tonos. Su observación  es que la parte del espectro que pueden percibir mejor es entre 300 Hz y unos 1000 Hz. Percibir mejor en este caso significa que el sonido percibido no es molesto y que es posible distinguir cambios de frecuencia. Frecuencias altas eran percibidas como estridentes y frecuencias muy bajas no eran audibles. Más tarde realizó una prueba para comprobar cómo se perciben tonos complejos, para ello con la ReacTable creó un tono con diferentes harmónicos basado en modulación FM. De Nuevo cambió el tono fundamental  y del harmónico desde bajas frecuencias a altas frecuencias. Su conclusión fue que el tono complejo era audible en todas las frecuencias (ya que los harmónicos eran audibles, aunque la fundamental no lo era en las bajas frecuencias). Sin embargo observó que los tonos complejos parecen distorsionados por el sistema de implante coclear o por la percepción producida por el implante.

Con el piano Luis Nogueira presentó parte de sus composiciones. Su idea era corroborar si lo que se había imaginado sobre la percepción del piano era correcto. Para ello comenzó con piezas lentas con cambios sencillos y claros de melodía. Más tarde fue incrementando la dificultad de la pieza y observó la reacción de los usuarios de implante coclear con las piezas.

Alejandro Civilotti y Alejandro Fränkel están componiendo piezas para un cuarteto de cuerdas, en su caso no podían presentar sus obras a los usuarios de implante coclear ya que la percepción de los instrumentos grabados es distinta a la percepción en vivo, y tampoco era cómodo traer un cuarteto de cuerda a la Universitat Pompeu Fabra. En su caso intercambiaron impresiones con los usuarios de IC, y explicaron el concepto de sus obras. En el caso de Alejandro Civilotti, su obra está siendo compuesta basado en su propia experiencia, ya que él mismo es un usuario de implante coclear.

En la sala de experimentos psicoacústicos, Waldo Nogueira realizó diferentes experimentos. Por un lado investigó como se perciben melodías simples de 5 notas. Presentó una melodía y el usuario de IC tenía que distinguir si era una melodía que sube, baja, baja y sube, sube y baja, etc. De los resultados obtenidos observó que en media para los usuarios de IC es difícil distinguir melodías simples si la distancia entre las notas es menor de 4 semitonos. Al mismo tiempo realizó un experimento sobre detección de ritmos, y aquí pudo observar que el sistema de implante coclear es igual o tan bueno como un sistema auditivo normal. Seguidamente realizó un experimento sobre las emociones que se perciben al escuchar música. Aquí presentó diferentes canciones relativamente conocidas y los usuarios de IC marcaron en una tabla que sensación les había causado la música en dos dimensiones: la primera dimensión iba de aburrida a excitante en 9 pasos; la segunda dimensión iba de desagradable a agradable en 9 pasos también. Con este test pudo observar que los usuarios de IC reciben sus emociones de la música sobretodo basados en el ritmo que perciben de ella.

Finalmente Nikos Papachristou presentó visualizaciones musicales en tiempo real. Un PC captura el sonido y representa este sonido con imagines que pueden ser útiles para percibirlo mejor con un IC. Los usuarios de IC dieron consejos al ingeniero para desarrollar estas visualizaciones.

English

Sergio Naddei user the ReacTable to understand the perception of pure tones and complex tones with cochlear implants. With a simple experiment he generated a pure tone with the ReacTable . He varied the frequency from bass to treble asking the cochlear implant if they could perceive the pure tones and if so how it was perceived. His observation was that the part of the spectrum that can better perceived is between 300 Hz and 1000 Hz . Better perception means that the perceived sound was not annoying and that it was possible to distinguish frequency changes. High frequencies were perceived as shrill and very low frequencies were not audible.  In a second experiment he investigated how complex tones are perceived. Again he used the ReacTable creating a tone with different harmonic modulations based on FM. Again he changed the fundamental frequency of the tone and its harmonic frequencies from low to high frequencies. His conclusion was that for the complex tones, even in the very low frequency region, were audible (because the harmonics were audible, which indicates that in the low frequency region the fundamental frequency is not perceived). He also observed that the complex tones appear to be distorted by the cochlear implant system or by the way the perception is produced by these devices.

With the piano Luis Nogueira presented part of his compositions. His idea was to verify if what he had imagined about how piano music is perceived with a cochlear implant was true. He starteed with slow tempo pieces with clear melodies. After a while he started to increase the complexity of the pieces in these two dimension (rhythm and melody) and asked the cochlear implant users about the difficulties to hear to the different levels of complexity of the piece.

Alejandro Civilotti  and Alejandro Fränkel are composing pieces for string  quartet. For them it was not possible to present their works to the cochlear implant because they have not recorded the pices and it was not easy to bring a quartet to the Seminar. They exchanged views and experiences with CI users, and explained the concept of their works. For Alejandro  Civilotti his work is being made based on his own experience, since he is himself a cochlear implant user.

In the psychoacoustic experiments room, Waldo Nogueira performed different experiments. First he investigated the perception simple 5-note melodies. A melody was presented and the CI user had to tell if it was a melody that rises, falls, rises and falls, falls and rises, etc.. From the results observed, on average for the CIusers participating of the Seminar, it was difficult for them  to distinguish simple melodies if the distance between the notes was less than 4 semitones. In  a second experiment he investigated the perception of rhythms, and here he observed that cochlear implant users achieve the same or even better performance than normal hearing listeners. Finally he performed an experiment to understand how emotions are perceived when listening to music. Here, he presented different songs relatively known and the cochlear implant users were asked to mark on  a lickert scale the emotion that music excerpt caused. There were to  lickert scales each for one dimension: the first dimension ranged from boring to exciting in 9 steps, the second dimension was from nasty to nice in 9 steps also . From this test it was observed that CI users receive their emotions based mostly on the rhythm of the music.

Finally Nikos Papachristou presented music visualizations in real time. A sound is captured by a PC, processed and through digital algorithms this sound is visualized on a screen. This work is still very preliminary and CI users helped him with the optimal visualization for the final music concert.