Philipp Franz von Siebold

Di balik keberhasilan tugasnya, hubungan Siebold dengan atasannya di Batavia terus-menerus dilanda masalah. Atasan di Batavia berpendapat Siebold tinggi hati dan banyak menghabiskan uang, sehingga diperintahkan pulang pada bulan Juli 1827. Kapal "Cornelis Houtman" yang diperintahkan menjemput diserang angin topan hingga karam di Teluk Nagasaki pada tanggal 18 September 1828. Serangan angin topan juga menimbulkan kerusakan besar di Dejima, termasuk merusak kebun botani Siebold. Pada Januari 1829, kapal "Cornelis Houtman" yang sudah diperbaiki meninggalkan Dejima menuju Batavia. Muatan kapal adalah 89 peti koleksi botani yang berhasil diselamatkan dari kebun botani milik Siebold, namun pemiliknya sendiri tidak ikut serta.