Tokugawa shogunate
가사마번세자 이노우에 마사토의 3남으로 태어났다. 어머니는 혼다 헤이하치로가 출신 혼다 다다요시의 딸이다. 형은 에도 막부 노중 이노우에 마사미네이다.