Schmitt werd geboren in Bad Kissingen in een burgerlijk gezin. Na zijn middelbare school werd hij leerling-bankbediende. In 1919 sloot hij zich aan bij een Beiers vrijkorps, waar zijn rechts-radicale standpunten vorm kregen. Hij was lid van de Bund Oberland tussen 1922 en 1923 en tussen 1925 en 1930. Bund Oberland was een van de rechts-extremistische groepen die onder andere heeft deelgenomen aan de mislukte Bierkellerputsch van Hitler op 9 november 1923. Schmitt werd in die periode driemaal veroordeeld wegens toebrengen van slagen. Hij werd hierna hier en daar kort tewerkgesteld, maar kon geen enkele baan lang behouden.