לאחר שפרש ממשחק פעיל, קלינסמן החל קריירה עסקית. הוא הפך לסגן נשיא של חברה לשיווק ספורט בארצות הברית והיה מעורב בכדורגל האמריקאי כחלק מקבוצת לוס אנג'לס גלאקסי. ב-26 ביולי 2004, קלינסמן חזר לגרמניה בתור המאמן החדש של הנבחרת הלאומית, לאחר פיטוריו של רודי פלר בעקבות הכישלון הגרמני ביורו 2004. קלינסמן החל תוכנית אגרסיבית והביא אוליבר בירהוף ואת יואכים לב בתור עוזרים. תחילת דרכו של קלינסמן באימון נבחרת גרמניה הייתה קשה, בעיקר כאשר הפסיד 4-1 לנבחרת איטליה. קלינסמן ספג ביקורות רבות על כך שאימן את נבחרת גרמניה בעוד הוא ממשיך להתגורר בארצות הברית. ביקורות נוספות היו על סגנון המשחק ההתקפי מאוד שהנחיל קלינסמן לנבחרת גרמניה, כאשר הטענה העיקרית היא שקלינסמן זנח את ההגנה. עוד נאמר על קלינסמן כי הוא לא בחר שחקנים על פי כושרם הנוכחי, אלא לפי העדפות אישיות בלבד, ובעיקר נטען כלפיו כי הוא מוסר את המושכות בידי שחקנים צעירים מדי לאותה תקופה, כפיליפ לאם, בסטיאן שווינשטייגר ולוקאס פודולסקי. בגביע הקונפדרציות 2005 קלינסמן עורר את זעמו של השוער אוליבר קאן, כאשר ביצע רוטציות בין השוערים במהלך המשחקים, ונתן הזדמנויות לשוערי המשנה ינס להמן וטימו הילדברנד. המתח בין השניים החריף כאשר באפריל 2006 החליט קלינסמן כי להמן יהיה השוער הראשון במונדיאל 2006, על סמך הופעותיו המוצלחות באותה שנה במדי ארסנל, עמה הגיע לגמר ליגת האלופות 2006.