독일계 미국인
하우스만은 1918년 2월 28일 미국 뉴저지 러니미드에서 독일계 미국인 존 오토 하우스만과 스코틀랜드계 어머니 사이에서 태어났다. 원래 이름은 존 오토 하우스만 2세였지만, 입영가능 연령 이전인 16세에 6세 위의 형의 이름을 빌어 입대하는 바람에 제임스 하우스만이라는 이름을 갖게 되었다.