Przed sezonem 2010/2011 Raptors rozpoczęli przebudowę. Z klubu do Miami Heat zw wykorzystaniem transakcji sign and trade wymieniono za dwa wybory w pierwszej rundzie draftu 2011 Chrisa Bosha. Kilka dni później do Phoenix Suns trafił także Hedo Türkoğlu. Na początku sezonu Calderón stracił miejsce w pierwszej piątce na rzecz Jarretta Jacka, jednak pod koniec listopada 2010 Raptors wymienili go do New Orleans Hornets. Od tego momentu to Calderón był pierwszym rozgrywającym Raptors we wszystkich meczach, w których w sezonie tym występował. Z bilansem 22 zwycięstw i 60 porażek drużyna z Toronto zakończyła jednak sezon na ostatnim miejscu w Dywizji Atlantyckiej i na przedostatnim w Konferencji Wschodniej. Calderón przez cały sezon dwadzieścia pięć razy notował 10 i więcej asyst, wyrównując ostatecznie swoją najlepszą średnią w liczbie kończących podań na mecz (8,9). Był przy tym piątym najlepszym asystującym ligi. W czerwcu 2011 zaś doszło w Raptors do zmiany na stanowisku trenera – Jaya Triano zastąpił Dwane Casey.