Le fils d'un postier, Krauss a suivi sa scolarité dans la ville de Breslau en Silésie. Après des débuts sur la scène, dont au théâtre d'Aix-la-Chapelle, le réalisateur Max Reinhardt, sur recommandation d'Alexander Moissi, l'a engagé pour l'ensemble du Deutsches Theater à Berlin en 1913. Il tient ses premiers rôles à l'écran à l'époque du cinéma muet et devient dans l'entre-deux-guerres l'une des vedettes de l'expressionnisme allemand. Son rôle le plus connu est celui du docteur Caligari dans "Le Cabinet du docteur Caligari" de Robert Wiene (1920).