W latach 1998–2003 prowadził Milwaukee Bucks, a w 2002 reprezentację USA na mistrzostwach świata. Od 2005 do 2013 był trenerem Denver Nuggets. W lutym 2010 zdiagnozowano u niego nowotwór głowy i szyi i na ławce trenerskiej do końca sezonu zastąpił go Adrian Dantley. Po ustąpieniu choroby Karl powrócił do sztabu szkoleniowego Nuggets przed rozpoczęciem sezonu 2010/2011. 10 grudnia 2010 po wygranej Nuggets nad Toronto Raptors został 7. trenerem w historii NBA, który osiągnął pułap 1000 zwycięstw. W sezonie 2013 Nuggets mając trzecią najmłodszą drużynę w NBA (średnia wieku 24,9) osiągnęli bilans 57–25, a Karl został wybrany trenerem roku w NBA.