部内反对派联合犬养毅和鸠山一郎等人的政友会，以伦敦会议侵犯了统帅权（“”）为借口发难。财部在条约批准的次日即辞去海相一职，并因此事被转入预备役，此后已经是实质性的引退状态。其妻为前首相山本权兵卫的长女。当时刚一听闻两人之事，与财部在海军兵学校同期的广濑武夫找到山本，向其进言道：“财部毫无疑问是优秀的男子，必是将帅之才。但倘若财部迎娶了阁下千金，恐怕会招致世间非议，谓之财部其实只是凭借岳父荫蔽方能出人头地云云。为财部着想，这一婚事恐怕还是作罢为好。”最后财部依然与山本结为翁婿之亲，而因为财部的确迅速得到擢