家及侍从长入江相政；外祖母入江信子是柳原前光的女儿、大正天皇生母柳原爱子的姪女。入江家为藤原北家及冷泉家的分支，中世纪时曾出过藤原俊成、藤原定家等人的和歌世家。父亲高木正得为昆虫学家，却因华族制度的废除而落魄（也因在战争中失去珍贵的藏书及标本等），于1948年7月8日，留下遗书后失踪，11月1日在东京都与山梨县的境内西多摩郡氷川町（现奥多摩町）的中发现上吊自杀的遗体。