由于战线崩溃，随后迫使民国政府在花园口黄河决堤以阻滞日军突进。1938年6月担任参谋本部在上海设立的土肥原机关首长，该特务机关成立后，在土肥原的主持下，先后对唐绍仪、吴佩孚、靳云鹏做拉拢工作。1939年5月任关东军所属的第5军司令官。1940年任军事参议官兼任陆军士官学校校长。1941年4月28日晋升陆军大将，曾担任陆军航空总监。1944年以后先后任第7方面军、第12方面军司令官。第二次世界大战结束后，土肥原贤二被驻日盟军总司令部下令逮捕。1948年11月12日，远东国际军事法庭（东京审判）判定其为