Men Takahashi satt i statsministerembetet i mindre enn sju måneder, hovedsakelig på grunn av hans manglende evner til å kontrollere de ulike fraksjonene innenfor eget parti, og hans mangel på sin egen maktbase innenfor dette partiet. Etter sin fratredelse som statsminister, beholdt Takahashi fremdeles stillingen som president for partiet. Da Kato Takaaki ble valgt til den neste statsminister og etablerte sin egen koalisjonsregjering i 1924, valgte Takahashi å ta imot en stilling innenfor landbruks- og handelsdepartementet. Han trakk seg som president fra det politiske partiet Rikken Seiyūkai i 1925.