18 grudnia 2010, Richardson brał udział w wymianie, w ramach, której wraz z Hedo Türkoğlu i Earlem Clarkiem trafił do Orlando Magic w zamian za Vince Cartera, Marcina Gortata, Mickaël Piétrus, pierwszą rundę draftu 2011 i 3 miliony dolarów.