爲俄罗斯间谍。拥有地图是被严格禁止的。经过一段时间的软禁——在此期间西博尔德的许多人际关系均被调查——之后，1829年他被驱逐出日本，并被命令不得再次进入该国。
移居荷兰.在此之前，他已将收藏品保存在几个城市，遍布荷兰莱顿以及比利时根特、布鲁塞尔和安特卫普等城市的机搆中。在与家人团聚后，西博尔德决定搬到莱顿住在Rapenburg19号紧邻运河的房子里。这房子与植物园共临一条运河，河对岸后来成了自然史博物馆。早在1831年西博尔德就将他的收藏向公众开放。在莱顿的几个地点展示其收藏后，