签署九国公约，并向中华民国交还自第一次世界大战佔有的山东地区，引起日本国内勐烈的批评。1923年（大正12年）2月10日，收同乡的船越隆义为养子，并传以加藤家家督及爵位。同年8月24日因在大肠癌恶化在位于青山的自宅逝世，享年62岁。逝世后内阁由外相内田康哉代理首相职务。8日后（9月1日）发生关东大地震，翌日内阁总辞。