Han forsøkte også å reformere en valgordning som tillot allmenn stemmerett for alle menn. Men han og hans regjering gikk av i januar 1924. Deretter trakk Yamamoto seg fra det politiske liv, helt og fullstendig.