Po nieudanym sezonie 2010/11 zakończonym bilansem 22-60 trenerem Raptors został Dwane Casey. Raptors wybrali z numerem 5. litewskiego środkowego Jonasa Valančiūnasa w drafcie NBA 2011. W skróconym przez lokaut sezonie 2011/12 Raptors ponownie nie udało się awansować do fazy-playoff, notując bilans 23-43. W związku z nieudanymi próbami zwabienia Steve’a Nasha do Raptors, Colangelo wymienił przyszłościowy wybór w pierwszej rundzie draftu za rozgrywającego Houston Rockets, Kyle’a Lowry’ego. Sezon 2012/13 był pierwszym od trzech lat, gdy Raptors zanotowali dodatni bilans na własnym parkiecie (21-20), mimo to do awansu do fazy play-off było nadal daleko (34-48). W międzyczasie Raptors pozyskali w trójstronnej wymianie m.in. Rudy’ego Gaya z Memphis Grizzlies, oddając jednocześnie Joségo Calderóna do Detroit Pistons i Eda Davisa do Grizzlies. W maju 2013 prezesem Raptors został Nigeryjczyk Masai Ujiri.