『外国人名員数書』という史料によると、慶応元年(1865年)にはこの住宅は「造作中」とされており、慶応3年(1867年)にはオルトが居住していた。