同地にはもともと靖之の家があったが、家屋の新築と作庭に取り掛かる切っ掛けは、1889年（明治22年）パリ万博で金賞受賞に代表される博覧会での受賞と、七宝事業の好調だったという。1893年（明治26年）4月26日に上棟し、1894年（明治27年）11月15日に落成披露。小屋束に打つ付けられた御幣より、大工・西村米吉、手伝・河合伊之助と判明する。ここでいう「手伝」とは、建築工事に関わる何でも屋で、その良し悪しが工事の出来を左右すると言われる職方である。