Miután befejezte az aktív játékot edzősködésbe kezdett. 1979 és 1990 között az NSZK U21-es válogatottját irányította. 1986-ban a felnőtt válogatottnál lett segédező, majd az 1990-ben világbajnoki címet szerző Franz Beckenbauert váltotta és lett a német válogatott szövetségi kapitánya. Első komoly megmérettetésére az 1992-es Európa-bajnokságon került sor, ahol ezüstéremig vezette a csapatot, aztán 1996-ban sikerült megnyernie az Európa-bajnokságot. Az 1994-es és az 1998-as világbajnokságon egyaránt a negyeddöntőig jutott el a válogatottal. 1998 szeptemberében elhagyta a válogatottat és néhány év pihenő következett. A 2000–01-es szezonban a Bayer Leverkusen szakmai irányítását vállalta el. Annak ellenére, hogy sikerült elérnie a bajnokok ligáját érő helyezést, májusban kirúgták. 2001. augusztusában a kuvaiti válogatott szövetségi kapitánya lett. Hat hónappal később lemondott posztjáról és a Skót labdarúgó-szövetség ajánlatát fogadta el. A 2004-es Európa-bajnokság selejtezősorozatának végén sikerült elérniük a pótselejtezőt érő második helyezést, a sorsolást követően pedig Hollandiát kapták ellenfélül. Hazai pályán 1–0-ra ugyan győztek a Hampden Parkban, de a visszavágón súlyos 6–0-s vereséget szenvedtek és nem jutottak ki az Eb-re. Sorozatos vereségek következtek barátságos mérkőzéseken, aminek következtében a skótok visszaestek a világranglistán. A nyomás egyre inkább erősödött és 2004 októberében a moldávok elleni döntetlen alkalmával lényegében elszálltak a skótok 2006-os világbajnoki reményei. Annak ellenére, hogy a szerződéséből még másfél év volt hátra, Vogts a következő hónapban lemondott.