Schmitz absolvierte nach dem Ende seiner Schullaufbahn eine Ausbildung im Bereich Maschinenbau, die er im Mai 1934 abschloss. Da Schmitz sich zuvor in der kommunistischen Jugendbewegung engagiert hatte und keiner NS-Organisation angehörte, fand er nach Ausbildungsende keine Arbeitsstelle. Seinen Lebensunterhalt bestritt Schmitz schließlich mit Gelegenheitsarbeiten. Als er gestohlene Gegenstände in einem Pfandhaus versetzte, wurde Schmitz am 27. November 1934 festgenommen und nach seiner Verurteilung bis zum 3. Dezember 1935 inhaftiert. Nach der Besetzung des Rheinlandes wurde Schmitz zum Reichsarbeitsdienst eingezogen. Danach versuchte er auf einem Schiff im Hamburger Hafen anzuheuern. Von Oktober 1936 bis zum 4. August 1939 war Schmitz erneut inhaftiert, da er in Duisburg ein Auto gestohlen hatte und nach Hamburg gefahren war. Nach seiner Haftentlassung war Schmitz bei Daimler-Benz in Köln beschäftigt. Weil Schmitz nach Ausbruch des Zweiten Weltkrieges im Dezember 1939 zur Wehrmacht eingezogen werden sollte, setzte er sich nach Wien ab.