Otto Nerz, seorang guru sekolah dari Mannheim merupakan jurulatih pertama pasukan kebangsaan dan telah berkhidmat dari tahun 1923 sehingga 1936. Jerman berjaya memenangi tempat ketiga pada penyertaan sulung mereka di Piala Dunia 1934. Dua tahun selepas itu, Sepp Herberger mengambil alih tugas sebagai jurulatih]]. Dalam Kejohanan Piala Dunia 1938, beberapa orang pemain dari Austria telah mewakili pasukan Jerman selepas Austria dimasukkan ke dalam Jerman selepas Anschluss. Mereka telah disingkirkan pada pusingan pertama, satu-satunya pencapaian terburuk Jerman di Piala Dunia.