Il commence sa carrière d'entraîneur à l'âge de 24 ans à Castleton State College, où il reste jusqu'en 1986. Il rejoint en 1988 l'université du Massachusetts à Lowell, où il dirige l'équipe locale durant quatre ans. Il entraîne durant la saison 1994-1995 l'université du Wisconsin-Madison. C'est en 1995 qu'il intègre la NBA en devenant l'un des adjoints de Pat Riley au Heat de Miami. Il devient entraîneur de la franchise au début de la saison 2003-2004 à la suite du départ de Pat Riley, celui-ci demeurant président du club. Il améliore le bilan du club par rapport à la saison précédente et parvient à qualifier Miami pour le second tour des playoffs. À l'intersaison, l'équipe reçoit le renfort de Shaquille O'Neal, le Heat obtient alors le meilleur bilan à mi-saison, offrant à Van Gundy le privilège d'être désigné entraîneur de l'équipe de l'Est lors du All-Star Game, faisant de lui le premier entraîneur du Heat à obtenir cet honneur. Miami termine en tête de la saison régulière, mais s'incline en Finale de la Conférence Est face aux Pistons de Détroit. Malgré ce bilan positif, il est écarté du poste d'entraîneur et c'est le président et son prédécesseur au poste, Pat Riley qui prend sa succession.