丰臣秀吉、德川家康的武家，江户时代时为河内国丹南藩1万石的大名。母亲高木邦子为入江为守子爵及信子的女儿，舅舅为着名的随笔散文作家及侍从长入江相政；外祖母入江信子是柳原前光的女儿、大正天皇生母柳原爱子的姪女。入江家为藤原北家及冷泉家的分支，中世纪时曾出过藤原俊成、藤原定家等人的和歌世家。父亲高木正得为昆虫学家，却因华族制度的废除而落魄（也因在战争中失去珍贵的藏书及标本等），于1948年7月8日，留下遗书后失踪，11月1日在东京都与山梨县的境内西多摩郡氷川町（现奥多摩町）的中发现上吊自杀的遗体。