步兵第15联队、第49联队任职。1912年11月自日本陆军大学校24期毕业。从陆大毕业时由参谋本部派往中国北京的板西（坂西利八郎）特务机关长作为助理。土肥原长期在中国后来成为日本陆军中有名的“中国通”。1924年的直奉战争中策动阴谋暗助奉系军阀张作霖。1928年3月，土肥原出任奉系督军张作霖的顾问。因张作霖不能满足日本在中国东北地区的特殊权益，土肥原配合关东军高级参谋河本大作大佐策划1928年6月4日皇姑屯事件，以除掉张作霖。1931年3月任天津特务机关长。1931年8月任奉天特务机关长，土肥原贤二