Din 1916 până la moartea sa, Veidt a apărut în peste 100 de filme. Unul dintre primele sale roluri a fost ca somnambulul Cesare în filmul regizorului Robert Wiene, "Cabinetul Dr. Caligari" (1920), un clasic al cinematografiei expresioniste germane, cu Werner Krauss și Lil Dagover. Rolul său principal în "Omul care râde" (1928), ca un interpret de circ desfigurat, a cărui față este tăiată într-un zâmbet permanent, a fost inspirația (vizuală) pentru personajul Joker din franciza Batman. Veidt a jucat în alte filme de groază mute, cum ar fi "Mâinile lui Orlac" (1924), regizat tot de Robert Wiene, "Studentul de la Praga" (1926) și "Muzeul de ceară" (1924), în care a jucat ca Ivan cel Groaznic. Veidt a apărut și în filmul lui Magnus Hirschfeld "Anders als die Andern" ("Diferit de ceilalți", 1919), unul dintre primele filme care nu înfățișează negativ homosexualitatea, deși povestea filmului se termină tragic. A avut un rol principal în primul film sonor din Germania, "Das Land ohne Frauen" ("Țara fără femei", 1929).