Tudo na mente: decodificando ondas cerebrais para identificar a música que estamos ouvindo

Resumo: Combinando dados de neuroimagem e EEG, os pesquisadores registraram a atividade neural das pessoas enquanto ouviam uma música. Usando a tecnologia de aprendizado de máquina, os dados foram traduzidos para reconstruir e identificar a música específica que os sujeitos do teste estavam ouvindo.

Fonte: Universidade de Essex

Uma nova técnica para monitorar as ondas cerebrais pode identificar a música que alguém está ouvindo.

Pesquisadores da Universidade de Essex esperam que o projeto possa ajudar pessoas com graves deficiências de comunicação, como síndrome de encarceramento ou derrame, decodificando sinais de linguagem em seus cérebros por meio de técnicas não invasivas.

O Dr. Ian Daly, da Escola de Ciência da Computação e Engenharia Eletrônica de Essex, que liderou a pesquisa, disse: “Este método tem muitas aplicações potenciais. Mostramos que podemos decodificar a música, o que sugere que, um dia, poderemos decodificar a linguagem do cérebro”.

Os cientistas de Essex queriam encontrar uma maneira menos invasiva de decodificar informações acústicas de sinais no cérebro para identificar e reconstruir uma peça musical que alguém estava ouvindo.

Embora tenha havido estudos anteriores bem-sucedidos monitorando e reconstruindo informações acústicas de ondas cerebrais, muitos usaram métodos mais invasivos, como a eletrocortiografia (ECoG) – que envolve a colocação de eletrodos dentro do crânio para monitorar a superfície real do cérebro.

A pesquisa, publicada na revista Relatórios Científicosusou uma combinação de dois métodos não invasivos – fMRI, que mede o fluxo sanguíneo em todo o cérebro, e eletroencefalograma (EEG), que mede o que está acontecendo no cérebro em tempo real – para monitorar a atividade cerebral de uma pessoa enquanto ouve um peça de música.

Usando um modelo de rede neural de aprendizado profundo, os dados foram traduzidos para reconstruir e identificar a peça musical.

A música é um sinal acústico complexo, compartilhando muitas semelhanças com a linguagem natural, de modo que o modelo poderia ser adaptado para traduzir a fala. O objetivo final dessa linha de pesquisa seria traduzir o pensamento, o que poderia oferecer uma ajuda importante no futuro para pessoas que lutam para se comunicar, como aquelas com síndrome de encarceramento.

Os cientistas de Essex queriam encontrar uma maneira menos invasiva de decodificar informações acústicas de sinais no cérebro para identificar e reconstruir uma peça musical que alguém estava ouvindo. A imagem é de domínio público

Daly acrescentou: “Uma aplicação é a interface cérebro-computador (BCI), que fornece um canal de comunicação diretamente entre o cérebro e um computador. Obviamente, isso está muito longe, mas eventualmente esperamos que, se conseguirmos decodificar a linguagem com sucesso, possamos usá-la para construir auxiliares de comunicação, o que é outro passo importante em direção ao objetivo final da pesquisa BCI e pode, um dia, fornecer uma tábua de salvação para pessoas com graves deficiências de comunicação.”

A pesquisa envolveu a reutilização de dados de fMRI e EEG coletados, originalmente, como parte de um projeto anterior na Universidade de Reading, de participantes que ouviram uma série de peças de piano simples de 40 segundos de um conjunto de 36 peças que diferiam em andamento, harmonia de tom e ritmo. Usando esses conjuntos de dados combinados, o modelo foi capaz de identificar com precisão a peça musical com uma taxa de sucesso de 71,8%.

Sobre esta notícia de pesquisa em música e neurociência

Autor: Ben Salão
Fonte: Universidade de Essex
Contato: Ben Hall – Universidade de Essex
Imagem: A imagem é de domínio público

Pesquisa original: Acesso livre.
“Decodificação neural da música do EEG” por Ian Daly et al. Relatórios Científicos

Veja também

Isso mostra um menino triste parado atrás de uma cerca

Resumo

Decodificação neural da música do EEG

Modelos de decodificação neural podem ser usados ​​para decodificar representações neurais de informações visuais, acústicas ou semânticas. Estudos recentes demonstraram decodificadores neurais que são capazes de decodificar informações acústicas de uma variedade de tipos de sinais neurais, incluindo eletrocortiografia (ECoG) e eletroencefalograma (EEG).

Neste estudo, exploramos como a ressonância magnética funcional (fMRI) pode ser combinada com o EEG para desenvolver um decodificador acústico. Especificamente, primeiro usamos um paradigma conjunto de EEG-fMRI para registrar a atividade cerebral enquanto os participantes ouviam música.

Em seguida, usamos a localização da fonte de EEG informada por fMRI e uma rede de aprendizado profundo bidirecional de curto prazo para primeiro extrair informações neurais do EEG relacionadas à audição de música e, em seguida, para decodificar e reconstruir as peças individuais de música que um indivíduo estava ouvindo. . Validamos ainda mais nosso modelo de decodificação avaliando seu desempenho em um conjunto de dados separado de gravações somente de EEG.

Conseguimos reconstruir a música, por meio de nossa abordagem de análise de fonte de EEG informada por fMRI, com uma precisão média de classificação de 71,8% (n = 18n = 18, p < 0,05 p < 0,05). Usando apenas dados de EEG, sem análise de fonte informada por fMRI específica do participante, fomos capazes de identificar a música que um participante estava ouvindo com uma precisão média de classificação de 59,2% (n = 19n = 19, p < 0,05 p < 0,05).

Isso demonstra que nosso modelo de decodificação pode usar análise de fonte informada por fMRI para ajudar na decodificação e reconstrução de informações acústicas da atividade cerebral baseadas em EEG e dá um passo para a construção de decodificadores neurais baseados em EEG para outros domínios de informação complexos, como outros domínios acústicos, visuais ou informações semânticas.

Leave a Comment