Mark Whiten est réclamé au tour de sélection du repêchage amateur de 1986 par les Blue Jays de Toronto. Il fait ses débuts dans le baseball majeur avec le avec Toronto mais ne joue avec les Blue Jays que 79 matchs étalés sur deux saisons. Le , Toronto échange Whiten, le joueur de champ extérieur Glenallen Hill et le lanceur gaucher Denis Boucher aux Indians de Cleveland contre le lanceur droitier Tom Candiotti et le joueur de champ extérieur Turner Ward. Joueur pour Cleveland en 1991 et 1992, il est échangé aux Cardinals de Saint-Louis contre le lanceur droitier durant le camp d'entraînement de 1993. Au début de la saison 1995, Saint-Louis transfère Whiten et le lanceur gaucher Rhéal Cormier aux Red Sox de Boston en retour du lanceur droitier Cory Bailey et du joueur de troisième but Scott Cooper. Il termine la saison 1995 avec les Phillies de Philadelphie, qui le l'acquièrent des Red Sox en échange du joueur de troisième but Dave Hollins. Il partage la saison 1996 entre trois clubs : les Phillies, les Braves d'Atlanta et les Mariners de Seattle. Après une saison 1997, il complète sa carrière chez les Indians de Cleveland, qu'il retrouve pour 88 matchs en 1998, mais avec qui il ne joue que 8 et 6 matchs, respectivement, lors des saisons 1999 et 2000. En 1998, il participe pour la seule fois de sa carrière aux séries éliminatoires, jouant deux matchs de la Série de championnat perdue par Cleveland face aux Yankees, mais contribuant un circuit d'un point contre le lanceur Andy Pettitte dans le match, gagné 6-1.