政改革方面进行努力，明治4年（1871年）7月14日因废藩置县而被免官。其后成为子爵、麻布一带的大地主和第15银行的大股东。大正14年（1925年）9月11日去世。享年66岁。迎旧佐土原藩主·岛津忠亮三男为婿养子，阿部正宽继承家督。墓所：东京都台东区藏前西福寺。