Von Schmidt nacque a Frickenhofen, Gschwend, Württemberg, Germania. Dopo aver studiato al liceo tecnico di Stoccarda sotto Breymann e Mauch, divenne, nel 1845, uno dei lavoratori della gilda impiegati nella costruzione della Cattedrale di Colonia, sulla quale lavorò per quindici anni. La maggior parte dei disegni di lavoro per le torri sono stati realizzati da Schmidt e Vincenz Statz. Nel 1848 raggiunse il grado di capomastro e nel 1856 passò l'esame di stato come architetto. Dopo essere diventato cattolico nel 1858, andò a Milano come professore di architettura e iniziò il restauro della Cattedrale di Sant'Ambrogio. A causa della confusione causata dalla guerra del 1859 andò a Vienna, dove era professore presso l'accademia e architetto della cattedrale dal 1862; nel 1865 ricevette il titolo di capo architetto e nel 1888 fu nobilitato dall'imperatore.