初代奉行の竹内保徳は松前藩の建物を増改築して引き続き使用する方針を示したが、続いて奉行に任命された堀利煕は、同所は箱館湾内から至近かつ遮るものがなく、加えて外国人の遊歩区域内の箱館山に登れば奉行所を眼下に見下ろすことができるので防御に適さず、亀田方面への移転が必要だと上申。