後に、井上馨は、郁太郎の甥の矢橋実吉を鳥居坂にある井上の屋敷(旧多度津藩江戸屋敷→井上馨邸→岩崎小弥太邸→国際文化会館)に引き取り、東京の医学校へ通わせ、矢橋実吉が外科医になると、所家の名跡を継がせた。