1883年（明治16年）8月8日出生于冈山县冈山市。青山小学校、仙台陆军幼年学校、陆军中央幼年学校等校毕业。1904年10月自日本陆军士官学校16期毕业。在步兵第15联队、第49联队任职。1912年11月自日本陆军大学校24期毕业。从陆大毕业时由参谋本部派往中国北京的板西（坂西利八郎）特务机关长作为助理。土肥原长期在中国后来成为日本陆军中有名的“中国通”。1924年的直奉战争中策动阴谋暗助奉系军阀张作霖。1928年3月，土肥原出任奉系督军张作霖的顾问。因张作霖不能满足日本在中国东北地区的特殊权益，