初代奉行沿用松前藩的建筑物，并且加以改建增建，但是其后接任的认为奉行所相当接近，不仅毫无遮挡，而且邻接的箱馆山属于外国人步行区域，只要登上山顶，奉行所便一览无遗，实在难以防守，因此他上奏希望将奉行所迁移至龟田一带。其后，两任奉行先后返回江户，并且向老中阿部正弘提交意见书，指出当时的大砲射程太短，提议在锻冶村中道兴建「御役所四方土垒」，并且将奉行所移至该处，最终幕府接纳其意见，开始着手兴建五稜郭。与此同时，意见书中亦建议将位于矢不来（现北斗市）、押付、山背泊、辩天岬、立待岬、筑岛、沖之口的7处改建成，从以保护