javascriptの動作を調整しました。
とりあえず、oscillatorによる波形データをdummyとして、scriptに送り、script側で本当の音声データで上書きしています。
本当の音声データのデコードをwebsocketの受け取り時や再生時に実行すると、処理に悪影響を与える懸念があるため、ここでは実行せず、requestAnimationFrameの動作上で実行することで影響を最低限にするようにしてみました。
まだぷちぷち音はでますが・・・なんとかしたいところです。
ちなみに、普通にmp3をデコードして再生する場合には影響は特にないみたいですけどね・・・うーん。