Um componente dedicado chamado Audio Processing Unit (Unidade de Processamento de Áudio, ou APU) fornece esse serviço . A Ricoh a embutiu dentro do chip da CPU, presumivelmente para evitar a clonagem não autorizada tanto da CPU quanto da APU.
Funcionalidade
Este circuito de áudio é comumente referido como um Programmable Sound Generator (Gerador de Som Programável, ou PSG), o que implica vagamente que ele pode produzir apenas um conjunto predefinido de formas de onda, e nesse caso é em grande parte verdade. A APU sequencia dados de áudio em cinco canais de áudio — cada um reservado para uma forma de onda ou sinal específico. Cada canal contém diferentes propriedades que alteram o tom da forma de onda, o som, o volume e/ou duração. Eles são continuamente mixados e enviados através do sinal de saída de áudio.
A funcionalidade da APU é exposta através dos endereços de memória, a CPU lê os dados relacionados à música encontrados na ROM de programa e programa a APU de acordo.
Indo além, o modelo Famicom em particular fornece pinos de cartucho que enviam o sinal de áudio mixado para o cartucho, assim o cartucho pode mixar o som com canais extras (que exigem chips adicionais) .
Vamos agora analisar os cinco canais fornecidos pela APU :
Pulso
(Video) Visão do osciloscópio do canal de pulso 1.
(Video) Visão do osciloscópio do canal de pulso 2.
(Video) Visão do osciloscópio de todos os canais de áudio.
Os primeiros dois canais produzem ondas de pulso . Quando ouvidas, apresentam um som de beep muito distinto que é principalmente usado para melodias ou efeitos sonoros. O sequenciador respectivo pode gerar três tipos de ondas de pulso, feitas variando a duração do pulso (também conhecido como duty cycle, ou razão cíclica). Os circuitos também estão conectados a uma unidade de sweep (permitindo modular o tom) e a um gerador de envelope para alterar o volume ao longo do tempo (também conhecido como decaimento).
A maioria dos jogos usa um canal de pulso para a melodia e outro para o acompanhamento. Você pode notar que frequentemente quando um jogo precisa reproduzir um efeito sonoro, o canal de acompanhamento é alterado para reproduzir o efeito e depois retorna ao acompanhamento. Isso evita interromper a melodia durante o jogo.
Acredito ser justo dizer que as ondas de pulso são um dos emblemas desta geração de consoles. Presumo que sua adoção foi feita puramente por motivos de custo-benefício: uma CPU (limitada) pode processar apenas uma certa quantidade de dados por vez, e as ondas de pulso são ideais no sentido de que não exigem muitos parâmetros para tocar melodias simples (o que, por sua vez, libera ciclos da CPU para outras operações).
Triângulo
(Video) Visão do osciloscópio do canal de triângulo.
(Video) Visão do osciloscópio de todos os canais de áudio.
Uma das especialidades da APU, quando comparada à concorrência, é a capacidade de produzir ondas triangulares. Estas são frequentemente usadas como uma linha de baixo para a melodia. Além disso, modificando drasticamente o seu tom, é possível utilizá-las também para percussão.
A APU tem um canal reservado para este tipo de onda. Nos bastidores, um sequenciador dedicado leva 32 ciclos para gerar um sinal triangular , esta limitação faz com que a forma de onda resultante tenha a forma de uma escada.
Por outro lado, o respectivo circuito não fornece controle de volume. De qualquer forma, alguns jogos encontraram outras formas, mexendo com o controle de volume do mixer.
Ruído
(Video) Visão do osciloscópio do canal de ruído.
(Video) Visão do osciloscópio de todos os canais de áudio.
O conceito de "ruído" é atribuído a uma série de formas de onda que não seguem um padrão ou ordem. Por sua vez, nossos ouvidos o interpretam como estática branca. Dito isto, a APU aloca um canal que pode reproduzir diferentes tipos de ruído.
Nos bastidores, o gerador de ruído se baseia no gerador de envelope (similar ao canal de pulso), sendo aleatoriamente silenciado por uma porta OR . A condição para o silenciamento depende do valor de um registrador de deslocamento de 15 bits conectado ao circuito de retroalimentação. Isso faz com que a saída do circuito gere um sinal com padrões pseudo-imprevisíveis, e portanto ruído.
Em termos de controle, 4 bits alteram o período do gerador de envelope e um bit altera o "modo" do registrador de deslocamento. Isso deixa disponíveis 32 predefinições de ruídos. Metade (16) dessas predefinições produzem estática limpa e a outra metade, estática robótica.
Em geral, os jogos usam o canal de ruído para percussão ou efeitos ambientais.
Amostra
(Video) Visão do osciloscópio do canal de amostra.
(Video) Visão do osciloscópio de todos os canais de áudio.
Amostras são pedaços gravados de música que podem ser reproduzidos. Como você pode ver, as amostras não se limitam a uma única forma de onda, mas consomem muito mais espaço.
A APU possui um canal dedicado a amostras. Nesse canal, as amostras são limitadas a uma resolução de 7 bits (codificadas com valores de 0 a 127) e uma taxa de amostragem de ~15,74 kHz . Para programar esse canal, os jogos podem transmitir valores de 7 bits (o que consome muitos ciclos e espaço de armazenamento) ou usar modulação delta para codificar apenas a variação entre a próxima amostra e a anterior.
A implementação da modulação delta na APU só recebe valores de 1 bit, o que significa que os jogos só podem informar se a amostra aumenta ou diminui 1 a cada vez que o contador é acionado. Assim, em detrimento da fidelidade, a modulação delta pode poupar os jogos de ter que transmitir valores contínuos para a APU.
Como a programação desse canal requer mais espaço e ciclos de CPU, os jogos normalmente armazenam pequenas amostras (como sons de bateria) que podem ser reproduzidas repetidamente. De qualquer forma, ao longo da vida útil do NES, inúmeros desenvolvedores criaram usos inteligentes para esse canal.
Segredos e limitações
Enquanto a APU não era comparável à qualidade do vinil, cassete ou CD, os programadores encontraram maneiras de expandir sua capacidade, principalmente graças à arquitetura modular do NES.
Canais extras
(Video) Visão do osciloscópio de Castlevania III (EUA/Europa, 1989).
(Video) Visão de osciloscópio de Akumajō Densetsu (versão japonesa de Castlevania III, 1989).
Lembra que o Famicom fornecia pinos de cartucho exclusivos disponíveis para expansão de som? Bem, jogos como Castlevania 3 aproveitaram isso e incluíram um chip extra chamado Konami VRC6, que adicionou duas ondas de pulso extras e uma onda de dente de serra à mistura.
Dê uma olhada nos dois exemplos que mostram a diferença entre a versão japonesa e a americana do jogo (esta última roda na variante do NES, que não forneceu recursos de expansão de som).
Tremolo
Video - Visão do osciloscópio de Final Fantasy III (1990).
Em vez de aumentar o custo dos cartuchos, alguns jogos priorizaram a criatividade em vez da tecnologia para adicionar mais canais.
Neste exemplo, Final Fantasy III teve a ideia de usar efeitos de tremolo para dar a sensação de canais extras.
Uma observação mais refinada
Agora que você teve uma visão do que a APU é capaz, deixe-me mostrar um método alternativo para observar como o seu som se comporta. Isso não apenas complementará o que já foi falado sobre a APU, como também fornecerá uma análise mais objetiva, especialmente porque não depende mais dos seus ouvidos.
Antes de tudo, vamos começar com uma breve introdução à teoria do som.
Graças aos princípios da Análise de Fourier, podemos decompor todo o som que ouvimos em uma soma de ondas senoidais de diferentes frequências e amplitudes . A onda senoidal mais grave (na frequência mais baixa) é chamada de fundamental e as demais são chamadas de sobretons. Se você adicionar a onda fundamental e seus sobretons, você recupera o som original. Dito isso, com os sons que têm um tom reconhecível, você notará que a maioria (se não todos) os sobretons têm frequências que são múltiplos da frequência fundamental. Assim, esses sobretons são chamados de harmônicos .
Harmônicos se tornarão um tópico recorrente nesta seção, pois formas de onda como pulsos, triângulos e dentes de serra seguem uma fórmula que dita os harmônicos que elas contêm. Caso contrário, essas formas de onda podem se desviar de sua forma "perfeita".
Introdução aos espectrogramas
Como as ondas senoidais são agora o ingrediente-chave que pode compor qualquer som, podemos analisar os sons que ouvimos pelas suas ondas senoidais. Agora, para qualquer tipo de análise de dados, nada é mais conveniente do que plotar um gráfico para organizar grandes quantidades de informação. Bem, em caso de análise sonora, temos os Espectogramas. Eles codificam todas as informações de uma amostra de áudio em um único gráfico. O eixo X denota o tempo (em segundos), o eixo Y denota as frequências (em Hz) das ondas senoidais produzidas durante esse tempo e o eixo Z (brilho da cor de cada ponto) denota a potência/sonoridade (em decibéis) de cada frequência.
Video - Exemplo de espectrograma visualizando seis segundos de um canal de pulso.
Como você pode observar neste exemplo, cada linha horizontal (também conhecida como sequência de pontos) corresponde a uma onda senoidal (a mais baixa é a fundamental, enquanto as demais são os harmônicos) e o brilho indica a amplitude. Com isso em mente, podemos extrair as seguintes informações:
- Com o tempo, as linhas horizontais tendem a se deslocar drasticamente. Isso é a mudança de tom do canal de pulso.
- O início de cada nota é alto (os pontos são brilhantes) seguido de um rápido declínio. Isso é o controle de envelope da APU em ação.
- Além disso, no final do período de decaimento, aparece uma linha vertical brilhante. É bastante breve, então não é facilmente audível, mas, em todo caso, é ruído (um som curto de estalo) e eu suspeito que seja uma deficiência da APU.
- Segurar uma nota por mais de 0,25 segundos faz surgir vibrato (flutuações contínuas no eixo Y). Não tenho certeza se isso é intencional (usando a função de varredura) ou um efeito adverso da APU.
Observe como a maioria dessas observações não são facilmente derivadas apenas ouvindo um simples áudio, por esta razão, esta seção foi escrita.
Plotando a APU
Para estudar a APU do NES, compilei cinco espectogramas, cada um correspondente a um canal de APU utilizando os exemplos anteriores. Ao lado deles, você verá minha tentativa de desvendar o que os dados estão exibindo.
Antes de começar, devo admitir que para obter dados sem imprecisões (como ruídos extras), tive que fazer algumas concessões. As gravações foram obtidas usando um programa do Windows chamado "towave", que usa síntese de banda limitada para resolver um problema fundamental com a emulação de chips de áudio baseados em PSG. Basicamente, pulsos, triângulos e dentes de serra são feitos de harmônicos infinitos. No entanto, isso não se mistura bem com placas de som modernas que são limitadas as amostras de 44,1 kHz. Portanto, uma técnica chamada "síntese de banda limitada" é usada para escolher os harmônicos corretos na limitação da placa de som. No geral, essa técnica fornece um equilíbrio viável entre desempenho, precisão e prevenção de aliasing (frequências falsas). Contudo, os dados podem não ser 100% idênticos ao seu equivalente analógico (que também introduziria outros problemas, como ruído do equipamento de gravação), mas acredito que estejam em um grau aceitável e, o mais importante, cumpre sua tarefa para esta seção do artigo.
Dito isso, vamos para a análise.
Pulso
Espectrograma do canal de pulso 1.
A teoria diz que um tom de pulso contém apenas harmônicos ímpares. Em outras palavras, a fundamental é combinada com seu terceiro harmônico, quinto e assim por diante. Além disso, cada harmônico diminui sua amplitude quanto mais afastado estiver da fundamental. A fórmula da amplitude é amplitude = 1 ÷ número harmônico .
Portanto, observe como o brilho de cada harmônico no espectrograma diminui à medida que ele sobre no eixo Y. Contudo, as ondas de pulso da APU também parecem exibir o efeito de vibrato mencionado anteriormente, que aumenta a cada número harmônico. Além disso, áreas do espectrograma que deveriam estar vazias de qualquer som contêm sobretons abafados (possivelmente resultado de ruído e outras imperfeições).
Triângulo
Espectrograma do canal de triângulo.
Uma onda triangular é também composta por harmônicos ímpares, mas com uma diminuição mais rápida de sua amplitude (onde a amplitude = 1 ÷ harmonic number² ).
No entanto, isso não é o que aparece aqui, a forma de escada da onda triangular, que a APU produz, leva a harmônicos extras e aumento das amplitudes.
Ruído
Espectrograma do canal de ruído.
Naturalmente, o ruído não segue as regras dos harmônicos e pode preencher aleatoriamente todo o espaço de frequência, portanto, a falta de um tom facilmente reconhecível.
No entanto, seguindo a linha do tempo, é possível diferenciar os diferentes pré-configurações de ruído que a APU fornece, cada um exibindo um conjunto distinto de sobretons.
Amostra
Espectrograma do canal de amostra.
Diferente dos canais anteriores, o canal de amostra reproduz apenas a gravação de baixa resolução que o desenvolvedor alimenta na APU. Considerando que o exemplo tocava uma bateria, não consigo identificar nenhuma característica identificável no espectrograma (além das semelhanças com o ruído branco).
Dente de serra
Espectrograma do canal de dente de serra VRC6.
Como bônus, vamos dar uma olhada no canal de dente de serra (sawtooth) da expansão VRC6. Para começar, uma onda de dente de serra perfeita é composta por todos os harmônicos, cada um exibindo amplitudes decrescentes (onde a amplitude = 1 ÷ harmonic number ).
Isso é bastante exigente para equipamentos digitais e naturalmente inacessível para um cartucho de jogo (talvez nem precise de tanta perfeição!). Similar as ondas de triângulo da APU, o VRC6 sequencia as ondas de dente de serra em 7 ciclos (e assim produz efeitos de escada semelhantes).
Consequentemente, o respectivo espectrograma é bastante confuso, as técnicas de aproximação do VRC6 preenchem a onda com harmônicos extras em diversos lugares.
Conclusão
Bem, parece que as formas de onda sintéticas do NES não são moldadas como a teoria dita. Isso significa que a APU tem falhas? Não! A maneira que a APU foi projetada acabou concedendo ao console sons únicos e identificáveis — e essas propriedades, intencionais ou não, fizeram com que os espectrogramas exibissem resultados incomuns.
Como observação adicional, a geometria perfeita pode ser agradável aos nossos olhos, mas curiosamente, nossos ouvidos não são particularmente adeptos de formas de onda com bordas perfeitas! (você começa a ouvir estalos).
Olhando adiante, a análise de som usando espectrogramas será útil em outros artigos, seja para uma análise simples ou para fazer comparações com outros sistemas. Observe que esses gráficos não são a ferramenta definitiva, especialmente com amostras de som que foram misturadas com muitos canais/instrumentos (dificultando muito sua decomposição). Mas acredito que eles fornecem um bom ponto de partida para qualquer tido de estudo objetivo.