Experimentos

O experimento piloto em desenvolvimento visa permitir que usuários da rede RNP tenham acesso a uma plataforma para realização de atividades de música em rede. Os usuários da plataforma SiM podem interconectar diferentes serviços relacionados à captura, reprodução, codificação, transmissão e processamento de trilhas de áudio digitais, e definir aspectos de sincronismo entre tais trilhas para assim criar diferentes peças musicais.

O experimento piloto utiliza um serviço de sincronismo distribuído desenvolvido durante a realização da primeira fase do grupo de trabalho. O simd (SiM daemon) ou Servidor SiM é o software que deverá orquestrar recursos de áudio em uma rede local e poderá enviar e receber sinais de orquestração de e para servidores remotos autenticados (outras instâncias de servidor SiM).

O sincronismo distribuído é realizado através da intervenção (em recursos locais e remotos) feita por notificações enviadas pelos servidores SiM, que manipulam (ativam, desativam, alteram parâmetros) serviços de captura, reprodução, codificação, transmissão e processamento de áudio, dentro da lógica de uma peça musical distribuída. Uma rede de servidores SiM é similar àquela criada pelo serviço Arthron em alguns aspectos, porém esta possui características particulares para o tratamento síncrono de áudio. As fontes de áudio da plataforma poderão ser instrumentos e vocais capturados ao vivo, além de gravações de trechos de áudio (samples) e padrões lógicos (ex. trilhas MIDI, sequência de mensagens OSC).

A experimentação musical distribuída é realizada com base na definição de um conjunto de requisitos e restrições de sincronismo entre os diferentes elementos que compõem a peça musical. A partir destas definições, o servidor realiza a orquestração de serviços locais e remotos utilizando um metrônomo global. O metrônomo distribuído, parte do servidor SiM, serve para facilitar o sincronismo entre as diferentes trilhas de áudio e também para facilitar a compreensão da latência imposta pela rede por parte dos músicos, visando sempre a manutenção da coerência (ritmo, harmonia e melodia) da música distribuída.

A descrição do conjunto de requisitos e restrições de sincronismo entre elementos produtores de música será realizada através de uma linguagem declarativa baseada em NCL (Nested Context Language). A linguagem servirá de base para a construção de ferramentas para diferentes atividades de experimentação musical distribuída, como a composição, execução e reprodução de música em rede, fornecendo abstrações fáceis para o mapeamento da qualidade da experiência (Quality of Experience, QoE) esperada pelos músicos com a qualidade do serviço (Quality of Service, QoS) necessária para a orquestração dos recursos de manipulação de áudio distribuídos para realização das atividades de música em rede.

A seguir são apresentados alguns experimentos realizados com a plataforma SiM. Os experimentos foram realizados em diferentes momentos do projeto, utilizando a plataforma em diferentes situações de maturidade do código.

Abertura do SBRC 2014

 

O GT-SiM realizou uma demonstração na abertura do SBRC (no dia 6 de maio de 2014), onde , com auxílio das ferramentas incorporadas pela plataforma desenvolvida pelo projeto, foram realizadas três peças musicais com músicos geograficamente distribuídos (Ode to Joy, de Beethoven; Divertissement, de Saint Preux e Pequena Suíte de Boi de Mamão, de Carlos Alberto Vieira). Os músicos envolvidos estavam presentes no auditório do Convention Center, em Florianópolis, e no laboratório LAViD na Universidade Federal da Paraíba (UFPB) em João Pessoa. Uma semana antes foi realizado o ensaio com todos os músicos em Florianópolis, porém em ambientes separados e interconectados através de uma rede IP. Utilizando as ferramentas incorporadas pela plataforma desenvolvida pelo GT-SiM (serviços de transmissão de áudio e ferramentas de rede) foi possível se reproduzir as condições existentes na conexão entre João Pessoa e Florianópolis, de forma que dois dias de ensaio foram suficientes para definição das características da apresentação das peças de música distribuída.

Foram realizados testes e medições para definir quais características seriam reproduzidas durante os ensaios, para garantir os ensaios com condições análogas às do dia da abertura. Os valores de latência média e a variação estatística da latência (jitter) foram registrados antes e durante os ensaios (nos dias 23 e 24 de Abril de 2014):

  • Latência mínima (roud-trip): 71,688ms
  • Latência média (round-trip): 75,400ms
  • Latência máxima (round-trip): 77,863ms
  • Desvio padrão: 1,462ms

Tais valores foram utilizados para configuração de ferramentas de rede e para criação de scripts para manipulação de tais ferramentas para reproduzir na rede utilizada para os ensaios as condições de conectividade (particularmente no tocante à latência e variação de latência) da ligação entre João Pessoa e Florianópolis.

O conjunto de músicos utilizado no experimento era a composição de uma cantata de cordas e flauta. Foi definida uma divisão, onde dois solistas ficariam separados do restante dos músicos (estes sendo os que iriam para João Pessoa). Durante os ensaios foi testado o uso do metrônomo, porém, por conta da afinidade entre os músicos, eles acharam melhor serem conduzidos pelos músicos solistas. A estratégia utilizada foi a MSA (Master Slave Approach) .

O serviço de áudio utilizado foi o JackTrip, transmitindo áudio sem compressão, com buffer armazenando 64 amostras e taxa de amostragem de 44100Hz. A interface de áudio RME Fireface foi utilizada em Florianópolis, ligada a um MacBook Pro com Ableton Live e as ferramentas incorporadas pelo servidor SiM (serviço de áudio, metrônomo e ferramentas de rede). A interface de áudio Focusrite Saffire Pro 14 foi utilizada em João Pessoa, ligada a um MacBook Pro com Ableton Live e as ferramentas incorporadas pelo servidor SiM (serviço de áudio, metrônomo e ferramentas de rede).

Experimentos na Mardito Discos

Um conjunto de experimentos foi ensaiado e preparado para realização em ambiente simulado o período de transferência de tecnologia, parte do calendário de execução do projeto. Tais experimentos serão realizados posteriormente em datas já definidas e realizarão música em rede a partir de três pontos, considerando os três cenários descritos nesta seção. Os cenários foram realizados em experimentos na Mardito Discos, utilizando três ambientes separados (isolados acusticamente) e as 3 diferentes interfaces de áudio disponíveis em cada um dos pontos (Echo Audio 12, Focusrite Saffire 14 e RME Fireface 800), além do software Ableton Live e a implementação corrente do servidor SiM (incluindo metrônomo distribuído, orquestrador, serviço de áudio baseado no JackTrip e ferramentas de rede).

Cenário 1

Trilhas de áudio devem ser enviadas de cada um dos três pontos para os outros. O cenário simula uma possibilidade de interconexão para um experimento envolvendo as cidades de João Pessoa (PB), Campina Grande (PB) e Recife (PB), onde a latência para transmissão de dados entre todos os pontos é abaixo de 10ms. Todas as conexões usam a estratégia RIA (Realistic Interaction Approach).

Cenário 2

Trilhas de áudio devem ser enviadas de cada um dos três pontos para os outros. O cenário simula uma outra possibilidade de interconexão para um experimento envolvendo as cidades de João Pessoa (PB), Campina Grande (PB) e Recife (PB), onde a latência para transmissão de dados entre João Pessoa e Campina Grande é abaixo de 10ms; a latência para transmissão de dados entre João Pessoa e Recife é abaixo de 10ms; e a latência para transmissão de dados entre Campina Grande e Recife é entre 15ms e 30ms. Todas as conexões usam a estratégia RIA (Realistic Interaction Approach), menos a conexão entre Campina Grande e Recife, que usa a estratégia DFA (Delayed Feedback Approach).

Cenário 3

Trilhas de áudio devem ser enviadas de cada um dos três pontos para os outros. O cenário simula uma outra possibilidade de interconexão para um experimento envolvendo as cidades de João Pessoa (PB), Rio de Janeiro (RJ) e São Luiz (MA), onde a latência para transmissão de dados entre João Pessoa e Rio de Janeiro é entre 40-50ms; onde a latência para transmissão de dados entre João Pessoa e São Luiz é entre 50-60ms; onde a latência para transmissão de dados entre Rio de Janeiro e São Luiz é entre 60-70ms. Uma trilha será enviada de João Pessoa para o Rio de Janeiro e São Luiz utilizando a estratégia MSA (Master Slave Approach). Trilhas serão enviadas entre São Luiz e Rio de Janeiro utilizando a estratégia de LMA (Latency Matching Approach ). Trilhas serão enviadas entre São Luiz e João Pessoa utilizando a estratégia de LMA (Latency Matching Approach).

 

CineGrid 2014

O Grupo de Trabalho de Sincronismo de Música em Rede juntamente com a equipe de Cinema Digital do Laboratório de Aplicações de Vídeo Digital da Universidade Federal da Paraíba e em parceria com a Rede Nacional de Ensino e Pesquisa e com os laboratórios Integra (da Birmingham City University – Inglaterra) e o Laboratório de Sistemas Distribuídos (da Universidade Federal de Campina Grande), realizou um experimento de música em rede apresentado  no CineGrid 2014, em San Diego (Estados Unidos). O objetivo do experimento era realizar uma peça musical distribuída, envolvendo músicos em Birmingham, Campina Grande e João Pessoa e a plateia em San Diego.

A demonstração consistiu numa apresentação de 15 minutos, com o objetivo de realçar a iteração entre músicos, distribuídos geograficamente. A ferramenta Fogo Player foi utilizada para dar suporte às transmissões de vídeo (4K e 2K) e a plataforma SiM para dar suporte à interação musical. Para a  realização da demonstração foram feitos diversos ensaios envolvendo músicos, técnicos (áudio e vídeo) e artistas de todas as cidades envolvidas.

Fluxos de áudio sem compressão e vídeo 2K foram transmitidos das cidades de Campina Grande e Birmingham para João Pessoa – Os vídeos capturados em Campina Grande e Birmingham foram projetados em João Pessoa; de João Pessoa foram transmitidos também fluxos de áudio sem compressão para Campina Grande e Birmingham, além de fluxos de áudio contemplando a mixagem geral e vídeo 4K da performance realizada localmente (músicos em João Pessoa em conjunto com a projeção dos demais) para a plateia no CineGrid em San Diego. Estratégias distintas foram utilizadas para sincronizar os músicos em Campina Grande e João Pessoa e em João Pessoa e Birmingham – como a latência entre João Pessoa e Campina Grande era muito baixa (abaixo do limite definido para interação realística – 25ms), os músicos em Birmingham receberam o áudio de João Pessoa e Campina Grande mixados.

 

Experimentos no CAC4 + Hiper-orgânicos 5

Em breve.