스코틀랜드인
다우니는 미국 뉴욕주, 맨해튼에서 1남 1녀 중 둘째로 태어났다. 그의 아버지 로버트 다우니 시니어는 배우, 극작가, 프로듀서이자 촬영기사, 감독이였으며 어머니 엘시(옛 성씨 포드)는 댄서이자 배우로 로버트 다우니 시니어의 작품에 출연하기도 했다. 그의 할아버지는 리투아니아 유대인으로 할머니는 아일랜드계 캐나다인과 헝가리인 혈통이다. 그의 어머니는 스코틀랜드인, 독일인, 스위스인 혈통이다.