Etter å først ha arbeidet som advokat ble han dommer i delstaten Württemberg i 1927. Fra 1927 til 1928 arbeidet han også som forskningsassistent i utenlandsk offentlig rett ved Kaiser-Wilhelm-Institut. Her var han en kollega av Hermann Heller. Schmid habiliterte seg i 1929 med et arbeide om internasjonal rett, og fra 1930 til 1940 arbeidet han som ved universitetet i Tübingen. Han ble nektet et fast professorat av det nasjonalsosialistiske regimet av politiske grunner. I 1940 ble han juridisk rådgiver for overfeltkommandanturet i Lille.