求从长崎到江户的所谓江户参府。在返回出岛后不久，西博尔德便准备离境去爪哇。在这许多个月的幕府旅程中，西博尔德不仅收集到许多植物、动物和文物，还拥有了日本的地图。当这些东西数量太多时，它们被送往了出岛。地图被日本当局发现了，西博尔德随后被控叛国罪并被指爲俄罗斯间谍。拥有地图是被严格禁止的。经过一段时间的软禁——在此期间西博尔德的许多人际关系均被调查——之后，1829年他被驱逐出日本，并被命令不得再次进入该国。
移居荷兰.在此之前，他已将收藏品保存在几个城市，遍布荷兰莱顿以及比利时根特