De esto se encarga la característica Sound Processing Unit (SPU) de Sony. Este chip admite la ingente cantidad de 24 canales de muestras ADPCM de 16 bits (una versión más eficiente del conocido muestreo PCM) con una frecuencia de muestreo de 44,1 kHz (calidad de CD de audio).
Este chip también ofrece las siguientes capacidades:
- Modulación de tono: los juegos pueden alterar automáticamente el tono de sus muestras en lugar de almacenar muestras adicionales. Esto resulta útil para la secuenciación de música.
- Modulación de frecuencia: los canales pueden asignarse para modificar la frecuencia de otros. Esta es comparable a la síntesis de Modulación de Frecuencia.
- Envolvente ADSR: conjunto de parámetros disponibles para la modulación de amplitud.
- Bucle: indica al sistema que reproduzca un fragmento de audio repetidamente.
- Reverberación digital: simula la reproducción de la muestra en un entorno acústico específico para mayor inmersión.
Se proporcionan 512 KB de DRAM (denominada 'Sound RAM') como buffer de audio. Esta memoria es accesible tanto por la CPU (vía DMA) como por el controlador de CD. No obstante, los juegos solo disponen de 508 KB para almacenar muestras; el resto queda reservado por la SPU para procesar música de CD de audio. Esta cantidad se reduce aún más cuando la reverberación está activada.
El controlador de CD también puede enviar muestras directamente al mezclador de audio sin pasar por el buffer de audio ni requerir la intervención de la CPU. Las muestras también pueden comprimirse mediante la codificación 'XA', que la SPU puede decodificar en tiempo real.
La era del streaming
Al igual que en la Saturn, los juegos ya no dependen de la secuenciación de música ni de formas de onda predefinidas y, gracias al amplio almacenamiento del formato CD-ROM, los desarrolladores pueden guardar muestras totalmente producidas y transmitirlas directamente al chip de audio.