# Internet das Coisas Musicais

A Internet das Coisas Musicais (também conhecida como IoMusT, do inglês Internet of Musical Things) é uma área de pesquisa que pretende levar conectividade da Internet das Coisas para as práticas musicais e artísticas. Além disso, engloba conceitos oriundos da computação musical, música ubíqua, interação humano-computador, inteligência artificial, realidade aumentada, realidade virtual, jogos, arte participativa e novas interfaces para expressão musical. De uma perspectiva computacional, a IoMusT se refere a redes locais ou remotas embarcadas com dispositivos capazes de gerarem e/ou reproduzirem conteúdo musical.

## Introdução

O termo Internet das Coisas é extensível a todo objeto do cotidiano conectado à internet, tendo suas capacidades aumentadas ao trocar informações com outros elementos presentes na rede para atingirem um objetivo em comum. Graças aos avanços tecnológicos ocorridos nas últimas décadas, seu uso tem se espalhado para diversas áreas de atuação, auxiliando em análises médicas, controle de tráfego e segurança de residências. Quando seus conceitos se encontram com a música, surge a Internet das Coisas Musicais (IoMusT).
O termo “Internet das Coisas Musicais” também recebe inúmeras classificações, conforme o uso de determinados autores. Hazzard et al, por exemplo, emprega-o no contexto de instrumentos musicais que possuem código QR que direciona o usuário para uma página com informações a cerca deste instrumento, como data de fabricação e história. Keller e Lazzarini, no que lhe concerne, utilizam este termo na pesquisa de música ubíqua (ubimus), enquanto Turchet et al. definem a IoMusT como um subcampo da Internet das Coisas, onde dispositivos interoperáveis podem se conectar entre si, auxiliando a interação entre musicistas e o público.
Assim como a IoT, a Internet das Coisas Musicais pode abranger diversos ecossistemas. Mas geralmente, é marcada por ser empregada em atividades musicais (ensaios, concertos, gravações e ensino de música) e contarem com provedores de serviços e informações.
Para além das vantagens tecnológicas e artísticas que este campo oferece, ainda surgem novas oportunidades para a indústria musical, proporcionando o surgimento de novos serviços e aplicações capazes de explorar a interconexão entre dispositivos lógicos e físicos, sempre mantendo o propósito artístico em mente.

## Coisas Musicais

Uma coisa musical é formalmente definida como “dispositivo computacional capaz de adquirir, processar, atuar ou trocar dados que sirvam a um propósito musical”. Em suma, estes objetos são entidades que podem ser usadas para a prática musical, podem estar conectadas em redes locais e/ou remotas e atuam como remetentes ou destinatárias de mensagens. Elas podem ser, por exemplo, um instrumento inteligente (instrumentos que usam sensores, atuadores e conexão sem fio para processamento de áudio), dispositivos vestíveis ou qualquer outro capaz de controlar, gerar ou executar conteúdo musical pela rede.
Diferentemente dos dispositivos tradicionais de áudio, como microfones e alto-falantes, as coisas musicais não são úteis sozinhas, surgindo a necessidade de inseri-las em uma cadeia de equipamentos. Sendo assim, surge a necessidade de pensar padrões, protocolos e meios de comunicação entre elas. Estes desafios serão analisados a seguir.

### Os desafios para criar coisas musicais

O primeiro desafio diz respeito ao hardware utilizado nas coisas musicais. Primeiramente, deve-se ter em mente que estes dispositivos não são analógicos. Por conta disso, eles podem ser reprogramados e devem apresentar conexão com a internet e/ou apresentarem outra possibilidade de comunicação com outros equipamentos.
Segundamente, elas não são dispositivos computacionais tradicionais. Isso quer dizer que elas são programadas para um propósito geral, não somente para realizar determinadas tarefas, como é o caso de smartphones e computadores pessoais. Finalmente, é importante ressaltar que elas serão empregadas em um contexto artístico e musical. Desse modo, as características estéticas são tão importantes quanto as computacionais.
Posto isso, ficam claros os desafios de hardware, que passam tanto pela capacidade de processamento quanto pelo armazenamento e consumo de energia das coisas musicais, que devem ser suficientemente bons para aguentarem apresentações artísticas, ao passo que não devem encarecer estes objetos nem torná-los pouco ergonômicos e de difícil manuseio. Além disso, elas devem ser capazes de assumirem diferentes papéis em diferentes cenários. Assim, devem permitir que os usuários adicionem ou removam componentes (como sensores e atuadores) visando serem adaptáveis, expressivos e versáteis.
O segundo desafio trata do comportamento das coisas musicais. Elas prioritariamente devem trocar dados sonoros, mas é desejável que elas também troquem dados de controle parâmetros de processamento. Nesse sentido, elas devem adaptar seu modo de funcionamento de modo a conseguir cooperar com os outros elementos presentes na rede, e também terem seus softwares e lógicas de funcionamento atualizados de forma remota.
A terceira adversidade é possivelmente o tópico mais sensível e mais difícil de se lidar. Deve-se pensar em quais dados são possíveis de serem compartilhados e como fazer isso. Para formato de áudio, pode-se pensar em formatos Pulse Code Moduation (PCM), como o WAV, pelo fato dele ser o mais comum em sistemas de processamento de áudio em tempo real. Entretanto, questões como latência e qualidade não são asseguradas. Já arquivos no formato MP3, FLAC ou OGG exigem maior processamento e a latência oriunda disso pode tornar o ambiente impraticável.

### Possíveis soluções para criar coisas musicais

Possíveis soluções para os problemas citados passam pelo uso de elementos comuns na IoT na prática musical ou pela atribuição de capacidade de conexão à rede por conta dos objetos tradicionais de áudio. As unidades de efeitos (como pedais de guitarra) devem ser construídas de modo que o usuário tenha liberdade de remover ou inserir botões e sensores, enquanto que em unidades lógicas o software seja passível de modificação. Já os equipamentos de áudio devem enviar e receber dados pela rede e também serem controlados de forma remota. Isso pode ser útil para adaptar estes elementos aos diferentes tipos de dados que circulam na rede.
Já os instrumentos musicais terão funcionamento similar ao dos instrumentos musicais inteligentes, onde serão equipados com sensores e atuadores capazes de capturar estímulos do ambiente e dos próprios musicistas. As ferramentas de auxílio musical, como metrônomos e afinadores, podem ser transpostas para meios digitais, enquanto as ferramentas de auxílio ao espetáculo, como canhões de luzes e fumaça, podem ser controlados e sincronizados pela rede.
Entretanto, a IoMusT não se trata apenas de fazer adaptações do que já existe, mas também por criar dispositivos, capazes de gerarem novas perspectivas para as práticas musicais.

## Campos Relacionados

Esta seção revisa alguns dos vários domínios de aplicação que auxiliam um ambiente de IoMusT. A análise não pretende ser exaustiva, visando descrever as principais características e funcionalidades de cada área.

### Performance musical em rede

Uma performance por rede é uma interação em tempo real via máquina, que permite que artistas dispersos pelo globo interajam entre si como se estivessem no mesmo ambiente. Embora não pretenda substituir o modelo tradicional, ela contribui com criação musical e com sua interações sociais, promovendo a criatividade e o intercâmbio de culturas.
Dentre suas principais características, constam: baixa latência, onde os sons produzidos devem ser ouvidos quase instantaneamente; sincronização, para evitar que longos atrasos prejudiquem a interação no ambiente; interoperabilidade por meio de padronização, que permite que aparelhos distintos possam se comunicar pela rede; escalabilidade, que torna o sistema abrangente e permite a participação distribuída entre os usuários; e fácil integração e participação, aspectos que garantem que os usuários não tenham dificuldade para encontrar dispositivos na rede, bem como possam se conectar ou desconectar dela quando bem quiserem. Quanto aos desafios dessa área, eles podem ser ilustados pela exigência de alta largura de banda e ordenação no fluxo transmitido, além de sensibilidade ao atraso na entrega de pacotes de dados.

### Arte Interativa

A arte sempre teve sua interação marcada pela relação do artista com o meio que ele dispõe para materializar a obra, enquanto ao público cabia apenas o papel de observar tudo de forma passiva. Isso começou a mudar quando movimentos artísticos liderados por Allan Kaprow e pelos grupos Fluxos e Gutai começaram a permitir uma participação mais ativa da audiência. Nesse contexto, surge a arte interativa, caracterizada por permitir ao espectador um grau de envolvimento ativo no espetáculo, seja caminhando entre as instalações e esculturas, ou produzindo sons, imagens e movimentos.
A arquitetura desses ambientes é concebida para lidar com diferentes tipos de sinais, que vão desde áudio e vídeo até aqueles produzidos pelo corpo humano, como as batidas do coração. Sendo assim, elas também requerem funcionalidades que garantam interoperabilidade e lidem com o atraso na entrega de dados.

### Música ubíqua

A música ubíqua, geralmente abreviada para ubimus, é um campo de pesquisa que combina música, tecnologia e processos criativos com forte engajamento social e comunitário. Embora sua proposta original seja voltada para a produção musical, as atuais novidades tecnológicas têm aberto novas dimensões sociais e cognitivas para esta área, levando-a se interessar cada vez mais por temas educacionais e artísticos. Assim, as perspectivas atuais abrangem uma ampla diversidade de assuntos e atores, que vão desde participantes casuais a músicos altamente treinados.
O ecossistema ubimus suporta a integração de ferramentas de áudios e a interação com o público, podendo ser reconfigurável para atender as necessidades dos usuários. Consequentemente, os conceitos almejados não dependem de implementações específicas. Outras características importantes são as abordagens conceituais e a confiança em métodos empíricos. Estes aspectos estimulam o desenvolvimento de tecnologias para a criação de música, em especial aquelas que utilizam de objetos e espaços comuns no dia a dia dos envolvidos no processo.

### Web Audio, Computação na Nuvem e Computação na borda

O Web Audio é uma API de JavaScript voltada para processamento e sintetização de áudio em aplicações web, representando uma evolução tecnológica neste segmento. Apresenta algumas características comuns aos DAWs, como roteamento de sinais de áudio, baixa latência e aplicação de efeitos. Também permite performances participativas em rede e expandem as capacidades de uso de smartphones nesses meios.
Seu ambiente utiliza nós de áudio para manipulação de som em um contexto musical. Eles são ligados pelas suas entradas e saídas, para criar caminhos para o roteamento do áudio, que é modificado pelos nós de efeito ao longo do trajeto. Dessa forma, é capaz de suportar inúmeras fontes com diferentes layouts, além de ser flexível e criar funções complexas com efeitos dinâmicos.
O Web Audio abre caminho para usar os navegadores de internet com finalidade musical. Dentre as vantagens observadas a partir disso, estão a fácil distribuição (não requer instalação) e manutenção, independência de plataforma e arquitetura, segurança (o navegador pode impedir que plugins com comportamento incorreto afetem o sistema) e surgimento de novos tipos de colaboração.
Já a computação em nuvem é uma estrutura composta por servidores distribuídos que simulam uma rede centralizada, permitindo o balanceamento de carga e a replicação de recursos, minimizando a quantidade de consumo da rede e melhorando sua escalabilidade e confiabilidade. Ela pretende prover inúmeros serviços, indo desde armazenamento de arquivos até intercomunicação entre aplicativos musicais, oferecendo um nível sem precedentes de participação e desempenho.
Sua principal característica é permitir aos usuários acessarem os serviços sem a necessidade de conhecimento sobre a tecnologia utilizada. Assim, eles podem acessá-los sob demanda e independente da localização. Outros pontos que merecem destaque nesta rede são: amplo acesso, elasticidade e gerenciamento de recursos.
A infraestrutura da computação em nuvem é, na maioria das vezes, compostas por inúmeras máquinas físicas conectadas em rede. Cada máquina apresenta as mesmas configurações de software, podendo se distinguir na unidade central de processamento, uso de memória e capacidade de armazenamento em disco. Este modelo foi desenvolvido com três objetivos principais em mente: i) reduzir o custo na aquisição e composição dos elementos que forma a infraestrutura da rede, permitindo que ela sejam heterogêneos e adaptáveis aos recursos exigidos; ii) flexibilidade na adição ou substituição de recursos computacionais; iii) facilidade de acesso aos serviços fornecidos por ele, onde os usuários necessitam somente que suas máquinas tenham um sistema operacional, navegador e acesso à internet para acessar os recursos disponíveis na nuvem.
Apesar de todas as vantagens acima listadas sobre o uso de computação em nuvem, seu modo de funcionamento centralizado cria muita carga de serviço na rede, em especial nos custos e recursos de banda larga para transmissão de dados. Além disso, o desempenho da rede piora com o aumento na quantidade de dados. Para sanar este problema, surge a computação na borda, que é um paradigma que combina propriedades da computação em nuvem com comunicação em tempo real. O termo ``borda’’ se refere a todos os recursos computacionais e de rede entre as fontes de dados e os servidores em nuvem. Desse modo, os objetos presentes no ambiente não apenas consumem dados e serviços, mas também realizam processamento computacional, diminuindo o estresse na rede e reduzindo de forma significativa a latência na troca de mensagens.
Os principais atributos deste modelo de computação giram entorno da distribuição geográfica, suporte à mobilidade, reconhecimento de localização, recursos computacionais e serviços próximos ao usuário final, baixa latência, sensibilidade ao contexto e heterogeneidade.

### Tecnologias vestíveis

A computação vestível é uma nova abordagem que vem redefinindo a forma como acontece a interação humano-máquina, onde os aparelhos eletrônicos passam a estar diretamente conectados ao corpo do usuário. Eles são chamados de dispositivos vestíveis e são construídos de forma que as tecnologias e estruturas neles contidos sejam imperceptíveis, atuando como uma extensão do próprio ser humano. Dentre os modelos mais populares atualmente estão os smartwatches e as smartbands.
Embora sejam pequenos, eles são capazes de continuamente detectar, coletar e carregar inúmeros dados fisiológicos e sensoriais, que visam melhorar atividades típicas do cotidiano, como realizar pagamentos, ajudar na localização, monitorar a saúde física e mental, fornecer análises sobre determinada atividade física e auxiliar na prática artística.
Eles devem ser capazes de cumprir três metas principais: atribuir mobilidade ao usuário, isto é, permitir que usem o dispositivo em diversos locais; aumentar a realidade, como por exemplo, gerar imagens ou sons que não fazem parte do mundo real; e fornecer sensibilidade ao contexto, que é a capacidade do equipamento se adaptar a diferentes ambientes e estímulos.
É importante destacar que apesar de apresentarem conectividade e lidarem com uma grande quantidade de dados, nem todos os dispositivos vestíveis são elementos de IoT, e consequentemente, de IoMusT. Para que assim sejam considerados, eles obrigatoriamente deve ter acesso à internet.
Seguindo uma linha um pouco diferente, mas ainda fazendo uso de conceitos oriundos da computação vestível, aparecem os tecidos inteligentes (e-textiles). Eles consistem em roupas aprimoradas com sensores e apresentam algumas vantagens em comparação com os dispositivos vestíveis, como mais conforto, interfaces mais naturais para interação humana e menor intrusividade. A partir disso, os equipamentos eletrônicos que são usados junto ao corpo humano podem ser classificados de acordo com o local no qual são inseridos (pulso, cabeça, pés e etc) e se já existem ou ainda estão em fase de prototipagem.

## Desafios da IoMusT

Além de enfrentar os problemas inerentes ao uso da tecnologia e também aqueles presentes na IoT, a Internet das Coisas Musicais enfrenta problemas específicos, que abrangem desde questões tecnológicas até aquelas artísticas e ambientais. Os principais deles são destacados a seguir.

### Desafios Tecnológicos

A possibilidade de ocorrência da IoMusT é dependente de aspectos da rede, como largura de banda, latência e jitter. A partir disso, é necessário que estas redes expandam seu funcionamento para além do estado-da-arte atual, em prol de fornecer melhor condições de conexão e lidar com os três aspectos citados, além de garantir sincronização e boa qualidade da representação do áudio conteúdo multimodal.
No que diz respeito a latência, confiabilidade e sincronização, elas surgem como uma das principais demandas na transmissão de áudio via rede e em tempo real, seja ela local ou remota, cabeada ou sem fio. Isso ocorre por conta do caráter randômico desse tipo de comunicação, o que pode causar perdas nos dados transmitidos e a dessincronização entre eles, até mesmo em redes de pequeno porte.
Ainda sobre a sincronização, ela é de difícil ocorrência em dispositivos que não compartilham o mesmo relógio global. Até mesmo em casos que isso ocorre, mas com os objetos em redes diferentes, é necessário uma ressincronização de tempos em tempos. Os protocolos existentes são insuficientes para suprir esta demanda.
A importância de se discutir interoperabilidade e padronização dos dispositivos presentes nesse ambiente passa pelo ponto em que estes conceitos são pilares essenciais para sua implementação. Isso se deve ao fato dos dispositivos não se conhecerem previamente e não terem informações dos elementos nos quais eles vão se conectar. Mas dada a heterogeneidade destes objetos, em muitos casos eles não operam sob os mesmos protocolos nem são capazes de interpretarem os dados oriundos de seus vizinhos.

### Desafios Artísticos

A principal diferença entre IoMusT e IoT se dá pela preocupação do primeiro campo com questões artísticas. Apesar de proporcionar vantagens, como a possibilidade de criação entre musicistas dispostos em locais diferentes do globo, conectividade massiva e novas formas de participação por parte do público, alguns problemas se destacam. Dentre eles, a ruptura com o modelo tradicional de interações artísticas, como observado em bandas e orquestras; falta de feedback visual; escolha de quais elementos serão exibidos e/ou controlados pelo público; ausência de sistemas de backup para concertos remotos; dispositivos caros, inacessíveis e pouco ergonômicos e falta de investimento para elaboração da infraestrutura necessária.

### Desafios legais, privacidade e segurança

Com a enorme quantidade de dados gerados nestes ambientes, surgem preocupações legais sobre os dados pessoais, uma vez que os dispositivos são capazes de coletar informações dos usuários envolvidos no processo. Aparecem ainda questões que envolvem infrações em material protegido, violação de copyright e quebra da propriedade intelectual.
Vale citar também os problemas referentes a segurança. Por se tratar de um sistema que se comunica pela rede, a IoMusT está sujeita a tentativas de roubo a dados sensíveis, ataques de negação de serviços e trojans. Possíveis soluções passam por algoritmos de encriptação, mas isso pode acarretar em alto uso de energia e de memória dos dispositivos.

### Desafios Sociais

Um dos primeiros pensadores a analisar o impacto da tecnologia na sociedade foi Herbert Marcuse. Dentre os problemas citados pelo autor, estão: abundância de tecnologia para uma parte da população e escassez para outra; estabelecimento de padrões e demandas por parte da classe dominante; submissão dos trabalhadores a grandes empresas; retenção do poder econômico e perda da individualidade de pensamento. Todos estes problemas estão presentes também na IoMusT.
Aliado a isso, outros problemas podem ser acentuados, como acesso não-heterogêneo às tecnologias, uma vez que pessoas que vivem em áreas suburbanas ou rurais não têm as mesmas possibilidades de acesso que pessoas que vivem em áreas mais densas; falta de infraestrutura, que aumenta a diferença sociocultural entre pessoas e classes; consumo excessivo, necessidade constante de inovação e apartheid social.

### Desafios Econômicos

Ao passo que a IoMusT pode revolucionar a indústria da música ao fornecer algoritmos de inteligência artificial capazes de mixar e alterar o som, reduzindo os custos de produção, ela também pode impactar negativamente a parte criativa desta área ao substituir tarefas humanas por soluções baseadas em máquina, além de causar redução de oportunidades de emprego na área.

### Desafios Ambientais

Com o crescimento de dispositivos eletroeletrônicos gerados por esta área, surge também uma preocupação com as questões ambientais, em especial aquelas que dizem respeito a geração de resíduos, poluição na confecção e uso destes materiais, uso de materiais químicos que podem ser tóxicos, uso de recursos não-renováveis e possíveis ocorrências de distúrbios ecológicos.

## Possíveis Cenários de Uso

A IoMusT permite repensar algumas atividades musicais, como apresentações ao vivo e ensaios, multiplicando as possibilidades de interação entre os atores envolvidos nestes cenários (musicistas, audiência, engenheiros de som, professores, alunos e etc.). Diante dessa breve elucidação, é possível pensar em alguns cenários de uso que são detalhados a seguir.

### Cenário 1 - Experiências aumentadas e imersivas

Imagine que ao chegar no concerto de sua banda favorita, as pessoas possam escolher diferentes interfaces que irão lhes acompanhar durante toda a apresentação. Uma pessoa pode escolher um óculos inteligente (dispositivo computacional que adiciona informações de acordo com o que seu usuário visualiza), outra escolhe uma pulseira que responde aos estímulos musicais e uma terceira seleciona um conjunto de sensores e de alto-falantes. Todos esses objetos podem rastrear os movimentos do usuário e enviar essas informações para a banda. A banda, por sua vez, pode adequar sua performance de acordo com as emoções do público, bem como enviar-lhes estímulos que serão interpretados pelos objetos que eles estão usando.

### Cenário 2 - Audiência co-localizada e audiência remota

Novamente, imagine os usuários com equipamentos vestíveis capazes de capturarem seus dados fisiológicos. A partir do registro dos movimentos e emoções de seu utente (como, por exemplo, a frequência cardíaca), os musicistas podem decidir qual a próxima música a ser executada, os coreógrafos podem criar passos que melhor se adequam aos sentimentos registrados, e a própria audiência pode fazer uso destes dados para controlar elementos que auxiliam no espetáculo, como canhões de luzes e fumaça.
Enquanto isso, pessoas que não conseguiram comparecer fisicamente ao local da apresentação podem experienciar o concerto utilizando óculos de realidade virtual ou sistemas de vídeo em 360°, permitindo visualizar os bastidores do palco e os detalhes por trás dos musicistas. A IoMusT também prediz a possibilidade de um aplicativo que permita controle remoto. Desse modo, aspectos presentes no concerto podem ser modificados pelo público que está ao redor do globo.

### Cenário 3 - Ensaios remotos

Outro possível cenário é um estúdio que utiliza conceitos de IoMusT para gravar tanto artistas solos, duplas e grupos pequenos quanto orquestras com os mais variados instrumentos. Para tal, a interface de gravação pode adequar seu tamanho conforme a quantidade de equipamentos conectados a ela. Músicos podem gravar mesmo se não estiverem no mesmo local físico e arquivos de áudio podem ser gravados para serem posteriormente mixados e masterizados. Outras possibilidades passam pela captura do áudio de um instrumento que não se encontra no mesmo lugar físico, mixagem e configuração remota dos sistemas de áudio, obtenção de dados a cerca do desempenho dos musicistas e muitos outros.

### Cenário 4 - Aprendizado de música

O aprendizado de música é enriquecido pela IoMusT ao se permitir o uso de aplicativos para tal, sendo eles responsáveis por exibirem as partituras a serem executadas, capturarem áudio em tempo real e sugerirem melhorias. Ainda, podem ser utilizados óculos inteligentes que indicam a posição correta dos dedos no instrumento e compartilhamento de dados na nuvem que podem ser visualizados por professores, que irão indicar melhorias e os próximos passos a serem feitos.

### Cenário 5 - Sessão de improviso com instrumentos eletroacústicos e coisas musicais

Este modelo trata de uma sessão de improvisos que combina instrumentos tradicionais e dispositivos eletrônicos que trocam informações pela rede. Estes instrumentos podem ser plugados em alto-falantes ou conectados a patches, ao passo que os usuários/musicistas os manipulam a partir de sistemas computacionais. Elementos gráficos, como vídeos, animações e informações musicais podem ser exibidos para auxiliar no processo; alguns usuários podem participar apenas controlando parâmetros dos instrumentos, como volume, gravação, efeitos dos instrumentos (delay e reverb, por exemplo), além de alterarem cores e resoluções na parte gráfica. Ainda, é capaz de comportar um técnico de som que gerencia as conexões, removendo aqueles que apresentam baixa capacidade de conexão à rede ou conectando aqueles que desejam trocar informações.