Provinz Shimousa
1661 starb Inoue im Alter von 77 Jahren und wurde im Jōshin-Tempel (, "Jōshin-ji") zu Edo beigesetzt. Inoues ältester Sohn Masatsugu, der der Familiengenealogie zufolge „wegen seiner Talentlosigkeit zurückgezogen“ lebte, war bereits 1650 gestorben. An seiner Stelle übernahm dessen Sohn Masakiyo (, 1628–1675) das Lehen in Takaoka (Provinz Shimousa).