Philipp Schmitt stammt aus einer bürgerlichen Familie aus Bad Kissingen. Bis 1918 besuchte er die Mittelschule seiner Geburtsstadt, anschließend begann er eine Banklehre. 1919 schloss er sich einem bayerischen Freikorps an, in dem er seine rechtsradikale Prägung erfuhr. Von 1922 bis 1923 und 1925 bis 1930 war er Mitglied des Bundes Oberland. Diese Gruppierung nahm u. a. am Marsch auf die Feldherrnhalle am 9. November 1923 in München teil. Schmitt wurde in dieser Zeit dreimal wegen Schlägereien verurteilt. Mehrere Arbeitsverhältnisse blieben von nur kurzer Dauer.