Som tonåring började Klose spela fotboll för Blaubach-Diedelkopf och senare som amatör för Homburg. Samtidigt gick han en yrkesutbildning till byggnadssnickare. Som spelare för Kaiserslautern kom genombrottet och han gjorde sina första matcher som proffs i Bundesliga och blev 2001 uttagen till tyska landslaget. Han debuterade i det tyska landslaget i VM-kvalmatchen mot Albanien där han gjorde det tyska segermålet. Klose vann "Silverskon" och VM-silver med tyska landslaget i VM i Japan och Sydkorea 2002 där han var känd för sin nickförmåga och gjorde 5 mål, samtliga på nick under gruppspelet, och slutade på delad andraplats i skytteligan med Rivaldo (som också gjorde 5 mål), efter vinnaren Ronaldo som gjorde 8 mål (Klose gjorde dock flest mål i gruppspelsfasen).