로버트 E. 리
루이지애나주 뉴올리언스에서 태어난 오스월드는 자신의 부친 로버트 E. 리 오스월드를 따서 "리"라고 이름이 지어졌고, "하비"는 그의 조모의 결혼 전 성이었다. 부친은 오스월드가 태어나기 겨우 2달 전에 심근경색으로 사망한 보험료 수금원이었다. 그의 모친 마게리트 클라베리 오스월드는 2명의 어린 아들과 3번째 자식이 태어나는 길에 독신 모친으로 남았다. 가족은 재정적 어려움들을 경험하여 자식들은 뉴올리언스 복음 루터교 베들레헴 고아원에 놓였다. 오스월드는 자신이 모친과 다른 친척들을 정규적으로 방문하였어도 1년 동안 고아원에 살았다.