Os Raptors continuou a se reconstruir durante o Draft de 2005, selecionando Charlie Villanueva, Joey Graham, Roko Ukić e Uroš Slokar, com a seleção de Villanueva sendo muito controversa entre os comentaristas de basquete e os fãs dos Raptors. Os Raptors começaram seu campo de treinamento contratando o agente livre José Calderón. Apesar da infusão de novos jogadores, a temporada de 2005-06 de Toronto foi uma decepção; Eles estabeleceram um recorde da franquia ao perderem seus primeiros nove jogos e 15 de seus primeiros 16 jogos. Com as derrotas aumentando e o escrutínio da mídia se intensificando, os Raptors contrataram Gene Keady, ex-técnico de Purdue, como assistente para ajudar a desenvolver a jovem equipe e estabelecer uma personalidade defensiva para a equipe. Em 15 de janeiro de 2006, os Raptors estabeleceu um recorde de pontos em uma vitória de 129-103 sobre os Knicks. Mas menos de uma semana depois, os Raptors permitiram que Kobe Bryant marcasse 81 pontos, a segunda maior marca na história da NBA. Com o escrutínio da mídia se intensificando mais uma vez e os Raptors entrincheirados na parte inferior da liga, o CEO Richard Peddie demitiu Babcock.