W kolejnych czterech sezonach Dinozaurom nie udało się powtórzyć tego wyczynu. W drafcie 2003 Raptors wybrali z 4. numerem Chrisa Bosha, który po odejściu Cartera był najlepszym zawodnikiem w drużynie. Po kolejnych niepowodzeniach i burzliwej atmosferze w grudniu 2004 Vince Carter został wymieniony do New Jersey Nets za Alonzo Mourninga, Erica Williamsa, Aarona Williamsa oraz dwa wybory draftu w pierwszej rundzie. Słabe rezultaty w kolejnym sezonie sprawiły, że Raptors wylosowały pierwszy numer draftu 2006. Zdecydowano się na włoskiego środkowego, Andreę Bargnaniego. W sezonie 2006/07 Raptors wywalczyli tytuł mistrza dywizji atlantyckiej, uzyskując bilans 47-35 w fazie zasadniczej, a Sam Mitchell został wybrany trenerem roku. W pierwszej rundzie play-off Raptors nieoczekiwanie przegrali z Nets 2-4. W kolejnym sezonie Raptors ponownie awansowali do fazy play-off, ponownie odpadając w pierwszej rundzie po porażce z Orlando Magic 1-4. Po nieudanym sezonie 2008/09 Sam Mitchell został zastąpiony na stanowisku trenera przez Jaya Triano.