%1

musIC

Vídeos del concierto

Vídeos del concierto musiC del día 9 de Febrero de 2013.

Levit 1:

Levit 2:

 

Discurso Vacío:

Almost New Spaces:

Almost New Places

Resultados encuesta [ESPAÑOL / ENGLISH]

Resultados del concierto musIC [Español]

El concierto musIC tuvo lugar en el auditorio del museo CaixaForum el Sábado 9 de Febrero a las 12:30 PM. En total asistieron 255 personas. De éstas, 133 rellenaron un cuestionario de apreciación de la música  (86 normo oyentes, 39 usuarios de implante coclear y 8 usuarios de audífono).  El objetivo del concierto era que tanto usuarios de implante coclear como normo oyentes obtuvieran una sensación parecida de la música allí presentada.

A continuación presentamos los resultados sobre una métrica que representa la satisfacción que tuvieron los asistentes en una escala del 1 al 5 (de nada satisfecho a muy satisfecho ). La satisfacción la hemos medido para cada pieza separándola en tres grupos (usuarios de implante coclear, normo oyentes y usuarios de audífono).

Ilustración 1: Índice de satisfacción para cada pieza musical (Le1 = Levit1, Le2 = Levit2, Coc = Coclear, Tam = Támbora, Dis = Discurso Vacío, Pla = Almost new Places, Spa = Almost new Spaces)

 

En general podemos observar que hay muchas similitudes entre la percepción que se obtuvo entre los tres grupos (usuarios de implante coclear, normo oyentes y usuarios de audífono) reflejando así el éxito de las composiciones realizadas por los músicos.

La canción más valorada fue la composición Almost New Spaces por Sergio Naddei e interpretada por el mismo usando la ReacTable.

Results of the musIC concert [English]

The musIC (música para Implante Coclear) concert was held on Saturday 9th of February at the Auditorium of the CaixaForum museum.  In total 255 people attended the concert and 133 filled the questionnaire about music appreciation (86 normal hearing listeners, 39 cochlear implant users and 8 hearing aid users).  The goal of the concert was that cochlear implant users and normal hearing listeners obtained a similar music appreciation after the concert.

In the following Picture a satisfaction metric about the concert is presented. This metric ranges from 1 until 5 (from completely unsatisfied, completely satisfied) . The satisfaction was measured for each piece and for each group (normal hearing listeners, cochlear implant users and hearing aid users).

Figure 1: Satisfaction index for each music piece (Le1 = Levit1, Le2 = Levit2, Coc = Coclear, Tam = Támbora, Dis = Discurso Vacío, Pla = Almost new Places, Spa = Almost new Spaces)

In general it can be observed that there are many similarities in the satisfaction reported by the three groups (cochlear implant users, normal hearing listeners and hearing aid users) and this shows the success of the new composed pieces.

The song that obtained the highest score is “Almost new Spaces” by Sergio Naddei using the ReacTable instrument.

 

Concierto

CONCIERTO 9 de Febrero de 2013

Toda la información del concierto en: http://phonos.upf.edu/music

Te invitamos a participar en una experiencia única donde investigadores y músicos se unen en favor de las personas con deficiencias auditivas.

musIC es un proyecto que investiga la percepción musical con implantes cocleares para entender de qué forma es posible mejorarla. El implante coclear es una prótesis auditiva que permite recuperar la audición del habla pero tiene muchas limitaciones en la escucha musical. Con este objetivo se organiza un concierto especialmente diseñado teniendo en cuenta estas limitaciones del implante coclear y que además está pensado para el público general.

Podremos escuchar piezas interpretadas con diferentes instrumentos y formaciones: un cuarteto de cuerda y flauta, una soprano, piano, guitarra y ReacTable, un instrumento electrónico interactivo desarrollado por el Grupo de Investigación en Tecnología Musical.

Con este concierto se pretende conocer mejor como se percibe la música, y los asistentes podrán contribuir a la investigación participando en una encuesta sobre esta experiencia musical.

Composiciones de: Alejandro Civilotti, Alejandro Fränkel, Sergio Naddei, Luis Nogueira.

Organiza: Music Technology Group (Universitat Pompeu Fabra) y Fundación Phonos. Con el soporte de: Advanced Bionics.

 

 

English:

We invite you to participate in a unique experience in which researchers and musicians come together for the hearing impaired.

musIC is a project related with the research about music perception with cochlear implant devices, and aims to understand how these devices can be further developed. The cochlear implant is a medical implanted device that has been designed mainly to restore the perception of speech sounds, but still has many limitations in musical listening. With this objective we are organizing a concert specially designed considering the limitations when listening into music with cochlear implants. The concert is also intended for the general public.

We will hear pieces played with different instruments and formations: a string quartet and flute, soprano, piano, guitar and ReacTable, an interactive electronic instrument developed by the Music Technology Group.

With this concert will try to better understand how music is perceived. Attendees can contribute to research by participating in a survey about this musical experience.

Compositions: Civilotti Alejandro, Alejandro Fränkel, Sergio Naddei, Luis Nogueira.

Organizers: Music Technology Group (Universitat Pompeu Fabra) and Phonos Foundation. With the support of: Advanced Bionics.

SEMINIARIO III: Músicos y usuarios de Implante Coclear [ESPAÑOL/ ENGLISH]

El objetivo del Seminario III consistía en que músicos y usuarios de implante coclear interactuaran los unos con los otros. Los músicos prepararon algunos experimentos y mostraron partes de sus piezas a los usuarios de implante coclear. Se trataba de corroborar si los músicos habían comprendido como es la percepción musical con el implante coclear.

El Seminario se organizó en tres estaciones de trabajo. En total participaron 6 usuarios de IC, 4 músicos y 3 ingenieros. Dividimos a los usuarios de implante coclear en parejas (3 grupos) y cada pareja fue distribuida en una habitación diferente. La habitación uno era un estudio de música con un piano, la segunda habitación era otro estudio de música con la ReacTable y la guitarra. Finalmente, la tercera habitación estaba equipada con un PC para realizar experimentos psicoacústiocos así como otro PC para presentar visualizaciones de sonido a través de una pantalla.

La idea del seminario es que cada pareja estuviera 30 minutos en cada habitación y rotaran a la siguiente habitación.

 

English:

The aim of the Seminar III was that musicians and cochlear implant users interact with each other. Musicians prepared experiments and showed some parts of their pieces to cochlear implant users. The goal for them was to corroborate was if  what they have learned  during the previous two seminars was correct.

The Seminar was composed by three workstations. In total six CI users, 4 musicians and 3 engineers participated of this Seminar. We divided the cochlear implant users in pairs (3 groups) and each pair was distributed in a different room/workstation. The first room was a music studio with a piano, the second room was another music studio with a ReacTable and guitar. Finally, the third room was equipped with a PC to perform psychophysical experiments and another PC to present visualizations of sound through a screen.

The idea of the seminar was that each pair of CI users should spent 30 minutes in each room and rotate to the next one.

Con la ReacTable, Sergio Naddei, pudo corroborar como se perciben los tonos puros y los tonos complejos. Con un experimento sencillo sobre la ReacTable generó un tono puro con el que pudo variar la frecuencia desde tonos graves a tonos agudos preguntando a los usuarios de implante coclear si podían percibir los tonos. Su observación  es que la parte del espectro que pueden percibir mejor es entre 300 Hz y unos 1000 Hz. Percibir mejor en este caso significa que el sonido percibido no es molesto y que es posible distinguir cambios de frecuencia. Frecuencias altas eran percibidas como estridentes y frecuencias muy bajas no eran audibles. Más tarde realizó una prueba para comprobar cómo se perciben tonos complejos, para ello con la ReacTable creó un tono con diferentes harmónicos basado en modulación FM. De Nuevo cambió el tono fundamental  y del harmónico desde bajas frecuencias a altas frecuencias. Su conclusión fue que el tono complejo era audible en todas las frecuencias (ya que los harmónicos eran audibles, aunque la fundamental no lo era en las bajas frecuencias). Sin embargo observó que los tonos complejos parecen distorsionados por el sistema de implante coclear o por la percepción producida por el implante.

Con el piano Luis Nogueira presentó parte de sus composiciones. Su idea era corroborar si lo que se había imaginado sobre la percepción del piano era correcto. Para ello comenzó con piezas lentas con cambios sencillos y claros de melodía. Más tarde fue incrementando la dificultad de la pieza y observó la reacción de los usuarios de implante coclear con las piezas.

Alejandro Civilotti y Alejandro Fränkel están componiendo piezas para un cuarteto de cuerdas, en su caso no podían presentar sus obras a los usuarios de implante coclear ya que la percepción de los instrumentos grabados es distinta a la percepción en vivo, y tampoco era cómodo traer un cuarteto de cuerda a la Universitat Pompeu Fabra. En su caso intercambiaron impresiones con los usuarios de IC, y explicaron el concepto de sus obras. En el caso de Alejandro Civilotti, su obra está siendo compuesta basado en su propia experiencia, ya que él mismo es un usuario de implante coclear.

En la sala de experimentos psicoacústicos, Waldo Nogueira realizó diferentes experimentos. Por un lado investigó como se perciben melodías simples de 5 notas. Presentó una melodía y el usuario de IC tenía que distinguir si era una melodía que sube, baja, baja y sube, sube y baja, etc. De los resultados obtenidos observó que en media para los usuarios de IC es difícil distinguir melodías simples si la distancia entre las notas es menor de 4 semitonos. Al mismo tiempo realizó un experimento sobre detección de ritmos, y aquí pudo observar que el sistema de implante coclear es igual o tan bueno como un sistema auditivo normal. Seguidamente realizó un experimento sobre las emociones que se perciben al escuchar música. Aquí presentó diferentes canciones relativamente conocidas y los usuarios de IC marcaron en una tabla que sensación les había causado la música en dos dimensiones: la primera dimensión iba de aburrida a excitante en 9 pasos; la segunda dimensión iba de desagradable a agradable en 9 pasos también. Con este test pudo observar que los usuarios de IC reciben sus emociones de la música sobretodo basados en el ritmo que perciben de ella.

Finalmente Nikos Papachristou presentó visualizaciones musicales en tiempo real. Un PC captura el sonido y representa este sonido con imagines que pueden ser útiles para percibirlo mejor con un IC. Los usuarios de IC dieron consejos al ingeniero para desarrollar estas visualizaciones.

English

Sergio Naddei user the ReacTable to understand the perception of pure tones and complex tones with cochlear implants. With a simple experiment he generated a pure tone with the ReacTable . He varied the frequency from bass to treble asking the cochlear implant if they could perceive the pure tones and if so how it was perceived. His observation was that the part of the spectrum that can better perceived is between 300 Hz and 1000 Hz . Better perception means that the perceived sound was not annoying and that it was possible to distinguish frequency changes. High frequencies were perceived as shrill and very low frequencies were not audible.  In a second experiment he investigated how complex tones are perceived. Again he used the ReacTable creating a tone with different harmonic modulations based on FM. Again he changed the fundamental frequency of the tone and its harmonic frequencies from low to high frequencies. His conclusion was that for the complex tones, even in the very low frequency region, were audible (because the harmonics were audible, which indicates that in the low frequency region the fundamental frequency is not perceived). He also observed that the complex tones appear to be distorted by the cochlear implant system or by the way the perception is produced by these devices.

With the piano Luis Nogueira presented part of his compositions. His idea was to verify if what he had imagined about how piano music is perceived with a cochlear implant was true. He starteed with slow tempo pieces with clear melodies. After a while he started to increase the complexity of the pieces in these two dimension (rhythm and melody) and asked the cochlear implant users about the difficulties to hear to the different levels of complexity of the piece.

Alejandro Civilotti  and Alejandro Fränkel are composing pieces for string  quartet. For them it was not possible to present their works to the cochlear implant because they have not recorded the pices and it was not easy to bring a quartet to the Seminar. They exchanged views and experiences with CI users, and explained the concept of their works. For Alejandro  Civilotti his work is being made based on his own experience, since he is himself a cochlear implant user.

In the psychoacoustic experiments room, Waldo Nogueira performed different experiments. First he investigated the perception simple 5-note melodies. A melody was presented and the CI user had to tell if it was a melody that rises, falls, rises and falls, falls and rises, etc.. From the results observed, on average for the CIusers participating of the Seminar, it was difficult for them  to distinguish simple melodies if the distance between the notes was less than 4 semitones. In  a second experiment he investigated the perception of rhythms, and here he observed that cochlear implant users achieve the same or even better performance than normal hearing listeners. Finally he performed an experiment to understand how emotions are perceived when listening to music. Here, he presented different songs relatively known and the cochlear implant users were asked to mark on  a lickert scale the emotion that music excerpt caused. There were to  lickert scales each for one dimension: the first dimension ranged from boring to exciting in 9 steps, the second dimension was from nasty to nice in 9 steps also . From this test it was observed that CI users receive their emotions based mostly on the rhythm of the music.

Finally Nikos Papachristou presented music visualizations in real time. A sound is captured by a PC, processed and through digital algorithms this sound is visualized on a screen. This work is still very preliminary and CI users helped him with the optimal visualization for the final music concert.

SEMINARIO II: Los músicos [ESPAÑOL/ ENGLISH]

Durante el seminario II nos hemos reunido con los músicos. Los objetivos de este Seminario eran:

    a) Que los músicos entiendan con mas detalle las características del implante coclear (Numero de electrodos de cada marca, Tasa de estimulación, Frecuencias asociadas a cada electrodo, etc)

    b) Que los músicos interactúen entre ellos intercambiando sus impresiones y sus ideas para realizar las composiciones

    c) Revisar otros conciertos que se han realizado en Southampton y Melbourne

Durante el Seminario tratamos los siguientes temas:

Tema 1

      La tecnología del implante coclear: Frecuencias que son transmitidas con el implante coclear, El simulador de implante coclear

     - Análisis de las preferencias musicales realizadas durante el proyecto musIC, Resultados del cuestionario, Resultados utilizando técnicas de “Machine Learning”

Tema 2: Los músicos presentaron sus ideas para componer música

Tema 3: Revisión de los conciertos musicales realizados en Southampton y Melbourne

Los músicos y las composiciones que realizaran ya están decididas, aquí información acerca de los músicos y los instrumentos van a utilizar para sus composiciones:

Sergio Naddei: 1 pieza de ReacTable, 1 pieza con guitarra acustica

Luis Nogueira: 2 piezas de Piano

Alejandro Frankel: 1 pieza con cuarteto de cuerda y viento, 1 pieza con voz cantada

Alejandro Civilotti: 1 pieza con cuarteto

 

English

During the seminar II we have met with the musicians. The objectives of this seminar were:

 
     a) That the musicians understand in more detail the characteristics of the cochlear implant (number of electrodes of each brand, rate of stimulation, frequencies associated to each electrode, etc.)
 
     b) That the musicians interact with each other sharing their thoughts and ideas for compositions
 
     c) Review other concerts that have been held in Southampton and Melbourne
 
During the seminar we treated the following topics:
 
Topic 1:
 
       - The cochlear implant technology: frequencies that are transmitted with the cochlear implant, cochlear implant simulator
 
      - Analysis of musical preferences made ​​during the project muSIProCI, Survey Results, results using techniques of "Machine Learning"
 
Topic 2: The musicians presented their ideas to compose music
 
Topic 3: Review of concerts performed in Southampton and Melbourne
 
The musicians and the compositions wheere at this point in time already decided, here the information 
 
Sergio Naddei: 1 ReacTable piece, 1 piece with acoustic guitar
 
Luis Nogueira: 2 pieces of Piano
 
Alexander Frankel: 1 piece with string quartet and wind, 1 piece with singing voice
 
Alejandro Civilotti: 1 piece with quartet

VÍDEO Y PRESENTACIÓN DEL SEMINARIO I

Aquí tenéis los vídeos y más abajo encontraréis la presentación en .pdf que hizo Waldo Nogueira sobre la percepción musical con implantes cocleares que formó parte del primer seminario del proyecto musIC.

SEMINARIO I: INTRODUCCIÓN [ESPAÑOL/ ENGLISH]

VERSIÓN EN ESPAÑOL [ENGLISH VERSION BELOW]

El primer seminario se celebró en el "Departamento de Tecnología de la Información y la Comunicación" de la Universidad Pompeu Fabra. Siete usuarios de implante coclear, tres músicos profesionales y 2 investigadores participaron en el seminario.

Tuvimos usuarios de Advanced Bionics, Med-El y Cochlear, y las edades de los participantes iban desde 30 hasta 70 años de edad. Sólo nos faltó la representación de mujeres entre los usuarios de implante coclear.  Esperamos que para el próximo Seminario podamos tener alguna mujer participante!

En primer lugar, Waldo Nogueira presentó una introducción al proyecto, y Sonia Espí continuó con una visión general de la estructura así como los objectivos del proyecto. A continuación, continuamos con dos presentaciones sobre cómo funciona un implante coclear y cómo se percibe la música con un Implante Coclear.

La siguiente charla fue sobre los resultados de varias tareas psicofísicas que 12 usuarios de implante coclear (entre los cuales estaban los presentes en el seminario) han realizado durante los meses previos al Seminario. Estos resultados ayudarán a los músicos a entender como perciben la música sus colaboradores para realizar las composiciones.

Después de todas estas presentaciones, se decidió comenzar con las actividades interactivas entre músicos y usuarios de implante coclear. Básicamente, grupos de 2-3 usuarios de implantes coclear se reunieron con un músico y hablaron los unos con los otros acerca de la audición, las preferencias musicales, instrumentos, etc. Cada cinco minutos cambiaron los grupos.

A continuación, nos sentamos todos juntos y ambos, músicos y usuarios de CI, comenzamos un debate. En primer lugar, los músicos dieron un resumen de las primeras impresiones que obtuvieron, y seguidamente los usuarios de implantes coclear comenzaron a debatir.

En resumen el primer Seminario fue un gran éxito, donde todos los participantes aprendimos mucho los unos acerca de los otros. El gran objetivo, que era poner este proyecto en marcha, y seguidamente que hubiera un buen entendimiento entre músicos y usuarios de implante coclear, creo que ha sido conseguido. El siguiente paso, pues empezar con las composiciones! Ya estamos esperando el siguiente Seminario!

Agradecimientos

Este proyecto está financiado por Advanced Bionics al cual agradecemos su apoyo.

También queremos agradecer especialmente a la Federación AICE por ponernos en contacto con usuarios de implante coclear.

Así mismo queremos agradecer los contactos proporcionados por el blog “Cocleados.com”

 

SEMINAR 1 [ENGLISH VERSION]

The first seminar was held at the “Department of Information and Communication Technology” of the Pompeu Fabra University.  Seven cochlear implant users, three professional musicians and two researchers participated of this seminar.

We had cochlear implant users from Advanced Bionics, Med-El and Cochlear, and the ages of the participants spanned from 30 until 70 years old. We only missed women in the Seminar … we hope to have some female participants in the upcoming seminars!

First, Waldo Nogueira presented an introduction to the project, and Sonia Espí continued with an overview of the structure and timelines. Next, two presentations on how does a cochlear implant work and how is music perceived with a Cochlear Implant were given.

The next talk was about the results of several psychophysical tasks that 12 CI users made during the months prior to the Seminar. These results helped the musicians to understand the difficulties and limitations of their cochlear implant collaborators.

After all these presentations, we decided to start with activities were the CI users and the musicians could interact with each other. Basically groups of 2-3 cochlear implant users met one musician and talk to each other about hearing, music preferences, instruments, etc. The musicians could figure out how does the system work and how sound is perceived with it.

Next, we sat all together and both, musicians and CI users, started a debate. First, the musicians gave a summary of the first impressions, and next cochlear implant users as well as the musicians started debates on more detailed topics.

In summary, it was a great Seminar, everybody learned from each other, and the first goal, that musicians and cochlear implant users could work together was by far accomplished. We are very happy and proud of this project and we are already waiting for the next Seminar!

Acknowledgements

This Project has been funded by Advanced Bionics.

We would also like to acknowledge the Federación AICE for providing with contacts to cochlear implant users.

Furthermore we would also like to acknowledge the blog “Cocleados.com” for providing with contacts.

 

musIC: Música para Implantes Cocleares [ESPAÑOL/ ENGLISH]

VERSIÓN EN ESPAÑOL [ENGLISH VERSION BELOW]

 

Los implantes cocleares son dispositivos médicos implantados que pueden restaurar la audición a las personas con pérdida auditiva profunda [1]. Aproximadamente, más de 200.000 pacientes de hoy han recibido implantes cocleares en todo el mundo. Todavía hoy, la percepción de la música con estos dispositivos es muy limitada.

Generalmente, los implantes cocleares se compone de dos partes: la parte externa y la parte interna. La parte externa contiene un micrófono, un procesador de sonido y una bobina de transmisión. La parte interna se implanta quirúrgicamente dentro nd la cabeza del paciente consiste en una bobina de recepción o antena, un decodificador y un estimulador, y la matriz de electrodos. Matrices reales de los electrodos contienen 8 a 22 electrodos y sólo puede ser estimulada a una tasa fija entre 250 Hz y 2320 Hz. En comparación con una cóclea intacto natural, que contiene miles de células ciliadas que realizan un análisis preciso temporal del sonido, los sistemas de CI todavía sólo proporcionan información auditiva reducida.

En el Grupo de Tecnología Musical de la Universidad Pompeu Fabra estamos tratando de mejorar la audición para los usuarios de implantes cocleares a través de nuevos métodos para procesar sonidos y entender cómo la música se percibe con estos dispositivos.

musIC: Música para Implantes Cocleares es un proyecto en el que intentamos entender como se percibe la música con el implante coclear, para así poder diseñar mejores prótesis auditivas.

El proyecto musIC consiste en crear un repertorio musical teniendo en cuenta las características técnicas así como la percepción músical con estos dispositivos. Para ello es necesario que compositores musicales que nunca han tenido contacto con el sistema de implante coclear entiendan estos conceptos.

Durante la composición de las piezas, compositores y  usuarios de implantes cocleares interactúan los unos con los otros para llegar a este objetivo.

El proyecto estará compuesto por:

- 1 seminario en el inicio del proyecto con compositores y usuarios de implantes cocleares

- 1 seminario para los compositores

- 1 reunión de seguimiento con demostraciones y debates entre autores y usuarios de implantes cocleares

- El concierto final  “musIC”

En principio el concierto final estará compuesto por 6 piezas interpretadas con instrumentos diferentes. Diferentes instrumentos están planeados (guitarra, piano, cuarteto de cuerdas con flauta y la “ReacTable” diseñada en el Music Technology Group). La diversidad en los instrumentos ya nos muestra las diferencias entre las piezas musicales que se crearan.

El concierto estará abierto para todo el público y tenemos la intención de realizar una evaluación mediante cuestionarios al final del mismo.

El concierto final está previsto para el 9 de febrero, 2012 de 12:00 a 13:00 horas. La ubicación final todavía no está definida.

 

musIC: Music for Cochlear Implants [ENGLISH VERSION]

Cochlear implants are implanted medical devices that can restore hearing to people with profound hearing loss [1]. Approximately, more than 200,000 patients today have received cochlear implants worldwide.  Still today, music perception with these devices is severely limited.

Generally, Cochlear Implants consists of two  parts: the external part and the internal part. The external part contains a microphone, a sound processor and a transmitting coil.  The internal part is surgically implanted inside the patient’s head  nd consists of a receiving coil or antenna, a decoder and  stimulator, and the electrode array. Actual electrode arrays contain  8 to 22 electrodes and  can only be stimulated at a fixed rate between 250 Hz and 2320  Hz. Compared to an intact natural cochlea, which contains thousands of hair cells performing an accurate temporal analysis of sound,  CI systems still only provide reduced auditory information.

At the Music Technology Group of the Pompeu Fabra University we are trying to improve hearing for cochlear implant users through new methods to process sounds and understanding how music is perceived with these devices.

musIC:  is project where we want to obtain knowledge to improve the cochlear system, more concrete, we want to understand how music is perceived. Using this knowledge music will be composed to satisfy the needs of cochlear implant users.

This project consists of creating a music “repertoir” through the understanding on how music is perceived with a cochlear implant.

During the composition of the pieces, music composers and cochlear implant users will interact with each other. The project will be composed by:

- 1 seminar at the beginning of the project (with musicians and cochlear implant users)

- 1 seminar for composers

- 1 follow-up meeting with demos and discussions between composers and cochlear implant users

- The final “musIC” concert

So far, the plan is that the final concert will be composed by 6 pieces interpreted with different instruments. The concert will be open for everyone and we plan to perform an evaluation using questionnaires at the end of the concert.

The final concert is planned for the 9th of February, 2012 from 12:00 until 13:00 hours. The venue is not yet defined.