ヴィンス・カーター
何とか平均得点は20点代を記録するも、故障前のカーターとは別人のようになってしまった。このころから、カーターの評価、存在感、チーム内での重要度が失われていった。
2003-2004シーズンは復活を果たす。73試合に出場し、平均得点も22.5とリーグ8位の好成績を記録。しかし、プレーオフには出場できなかった。HCの交代でチーム全体のオフェンスが機能せず、シーズン中に主力を入れ替えるトレードを行った事が原因とされる。カーター自身もチームの改革を望んでいた所、カーターとラプターズ首脳陣との間で「チームの新しい首脳陣の人事は君にも相談する」との約束が交わされる。しかし実際には何の相談も無く人事は決定(カーターはジュリアス・アービングのフロント入りを希望していたが叶えられなかった)。これに腹を立てたカーターはトレードを要求。そのままシーズンが開幕するも明らかにモチベーションの低いプレーを連発した。
ラプターズもカーターのモチベーション低下による散漫なプレイに仕方なくトレード要求を承認。2004年12月17日、ニュージャージー・ネッツにアーロン・ウィリアムス、エリック・ウィリアムス、アロンゾ・モーニング (モーニングはラプターズでのプレーを拒否し、バイアウトで解雇後、マイアミ・ヒートと契約) との交換で初の移籍を果たす。ちなみにこのトレードはラプターズにとって全く旨みの無いトレードで、NBA史上最低のトレードとも酷評された。
移籍先のネッツは当時リーグ最高峰のポイントガードであったジェイソン・キッドが在籍していたチームであり、カーターとキッドのバックコートコンビは大いに注目を集めた一方で、カーターとプレイスタイルで被るリチャード・ジェファーソンとの共存については疑問視されていた。しかしジェファーソンはカーター移籍直後に故障。このシーズンで3人揃ってコートに立つことはなく問題は先送りになったが、新天地で心機一転したカーターは移籍後の平均得点ではリーグ2位に値する27.6を記録。(シーズン通算は24.3)故障者が多かったチームを滑り込みでプレーオフに導いた。
翌2005-2006シーズンにはようやく主力3名が揃って開幕を迎え、カーターは得点面で活躍。ジェファーソンとの共存も問題なくクリアし、かつての豪快なダンクも復活した。チームはデビジョンを制し、プレーオフに進出したが、カンファレンスセミファイナルでマイアミ・ヒートに敗れた。
2006-2007シーズンは主力選手であるネナド・クリスティッチとジェファーソンが相次いで故障しチームから離脱するなか、カーターは82試合に出場。キッドと共に低迷するチームを支えた。