audioGapがはいっている場合に、どうなるか不明。
１：そのまま処理がつづけられて、続きがでてくる。
２：missingしているデータがくるまで待ち続けて処理できなくなる。
３：missingしている部分のデータが無音で埋め合わされて処理が進む。
のどれかだと思う。
どうやってためすかねぇ・・・
Thread動作について、調査してみた
無限ループのthreadを作って処理するより、executorつかった方が楽っぽいですね。
マルチスレッドでの変換の動作調整を実施しました。

現状これが一番パフォーマンスのよい動作っぽいです。
データのデコードまではシングルスレッドでやらせる。
変換処理はそれぞれのコンバートごとに、SingleThreadを割り当てて処理をすすめさせる。

自分のMacの場合は4CPUなので、
母体動作:1thread
音声変換:1thread(aacとmp3)
映像変換:2thread(h264) (flv1)
で実施したところ、131秒のマリオ動画の変換が95秒ほどでおわりました。

1スレッドですべてやらせた場合の(h264 + mp3)への変換で80秒ほどかかっていたので、そんな感じだなという動作になりました。