Op 26 juli 2004 volgde Klinsmann zijn vroegere spitsbroeder Rudi Völler op als bondscoach van Duitsland. Het team had er net een slecht Europees kampioenschap opzitten, waardoor Klinsmann besloot om drastisch in te grijpen. Hij begon zijn spelerskern te verjongen en zei dat hij geen rekening hield met de reputatie van spelers, enkel met hun prestaties. Hij nam ook oud-ploegmaat Oliver Bierhoff in dienst. Die moest zich met de public relations van het team bezighouden, zodat hij zich meer op het trainingsgedeelte kon concentreren. In de aanloop naar het WK 2006, waarvoor Duitsland als gastland rechtstreeks geplaatst was, kreeg Klinsmann heel wat kritiek te verduren. Zeker toen Duitsland in een oefenduel met 4-1 verloor van Italië. Ook zijn te aanvallende tactiek werd door de pers op de korrel genomen. Tijdens de Confederations Cup in 2005 begon Klinsmann te roteren onder zijn doelmannen, tot grote ergernis van keeper Oliver Kahn. In april 2006 koos Klinsmann resoluut voor Jens Lehmann als eerste doelman. Lehmann bereikte dat jaar met Arsenal FC de finale van de Champions League.