De 1986 à 1990, Mike Sullivan pratique son hockey junior avec les Terriers de l'Université de Boston dans l'association Hockey East du championnat NCAA. Lors du repêchage d'entrée 1987 dans la Ligue nationale de hockey, il est choisi en quatrième ronde par les Rangers de New York mais ne jouera jamais pour cette franchise, étant échangé un an plus tard aux North Stars du Minnesota.