El 10 de julio de 2013, Richardson fue parte de un paquete de traspaso que fue enviado a los Toronto Raptors, junto con Marcus Camby, Steve Novak, una selección de primera ronda para el 2016, y dos selecciones de segunda ronda para el 2014 y 2017, a cambio de Andrea Bargnani.