Cuando sus padres se divorciaron en 1978, Downey se mudó a California con su padre, pero en 1982 abandonó el Santa Monica High School y volvió a Nueva York para intentar ser actor a tiempo completo.