Po zakończeniu sezonu, Richardson został oddany z Suns, wraz z numerem draftu 2005 Natem Robinsonem do New York Knicks za Kurta Thomasa i Dijona Thompsona. W jego pierwszych trzech sezonach w Nowym Jorku, zmagał się z przewlekłą kontuzją, która utrudniła mu regularne występ. Rozegrał łącznie tylko 169 meczów. Jego Sytuacja ustabilizowała się w sezonie, 2008/2009 gdy nie wystąpił w tylko 7 meczach. W dwóch z tych 7 meczów nie wystąpił ze względu na decyzją trenera, były to mecz: z Miami Heat 28 lutego 2009 i 10 marca 2009 z Milwaukee Bucks.