楼上からは十三の山並みが一望できたため名づけられたが、1階は教育の場「詠帰塾」として開放し、2階は応接間兼書斎となっていた。