豊津中学（同級生には、陸士同期の秦眞次中将がいる）を経て、陸軍士官学校12期卒後、日露戦争に従軍。杉山は第12師団隷下の歩兵第14連隊第3大隊副官として出征、1904年（明治37年）10月8日、沙河会戦の一部として行われた本渓湖付近の戦闘で顔面を負傷した。その傷痕は後まで残り、さらに右目が大きく開かなくなるという後遺症をもたらし、杉山の風貌に特徴を与えることとなった。陸軍大学校卒業22期卒後、参謀本部・第二部（情報）勤務。1912年（明治45年）に海軍軍令部員と共に、商社マンに扮してフィリピン・マニラに潜入。諜報活動を行った。日本海軍の練習艦隊がマニラを訪れた際には、海軍少尉になりすまして米海軍の軍港を視察している。