コーデック情報を出力するように変更してみました。
audioデータもデコード時にtimestampを設置しなおさないと、うまく動作できないみたいです。
その後のデータの出力の計算時にtimestampがおかしくなる原因になるっぽい。