Michael Rupp begann seine Karriere als Eishockeyspieler in der Ontario Hockey League, in der er von 1997 bis 2000 für die Windsor Spitfires und Erie Otters aktiv war. In dieser Zeit wurde er zunächst im NHL Entry Draft 1998 in der ersten Runde als insgesamt neunter Spieler von den New York Islanders ausgewählt. Da diese ihn jedoch in den folgenden beiden Jahren nicht unter Vertrag nahmen, wurde Rupp im NHL Entry Draft 2000 in der dritten Runde als insgesamt 76. Spieler von den New Jersey Devils gewählt. In seinen ersten beiden Spielzeiten in New Jersey spielte der Angreifer ausschließlich für deren Farmteam aus der American Hockey League, die Albany River Rats.