22年（大正11年），获立宪政友会推荐组阁，成为第21任日本内阁总理大臣。就任后致力裁军，减少国家军费负担。外交方面，主要进行和平外交和配合英美的政策。对俄就庙街事件进行谈判，并自西伯利亚撤军。另外，与美国和中华民国签署九国公约，并向中华民国交还自第一次世界大战佔有的山东地区，引起日本国内勐烈的批评。1923年（大正12年）2月10日，收同乡的船越隆义为养子，并传以加藤家家督及爵位。同年8月24日因在大肠癌恶化在位于青山的自宅逝世，享年62岁。逝世后内阁由外相内田康哉代理首相职务。8日后（9月1日）发生