Pada 26 Julai 2004, Klinsmann kembali ke Jerman sebagai ketua jurulatih pasukan kebangsaan Jerman yang baru menggantikan bekas rakan sepasukannya, Rudi Völler. Klinsmann kemudiannya memulakan program agresif untuk merombak pengurusan pasukan. Beliau membawa bekas penyerang Jerman, Oliver Bierhoff ke dalam barisan pengurusan pasukan. Tambahan lagi, beliau menubuhkan pergerakan belia untuk memberi nafas kepada pasukan Jerman setelah dilanda bencana pada kejohanan UEFA Euro 2004. Dalam menghadapi Piala Dunia 2006, Klinsmann dilempar kritikan oleh penyokong dan media Jerman berikutan beberapa keputusan hambar pasukan seperti kekalahan 4-1 kepada Itali. Beliau mengumumkan pemain-pemain muda yang beraksi untuk Piala Dunia 2006 berdasarkan poisi pemilihannya berdasarkan persembahan bukan reputasi.