James Madison
스칼버는 5명의 아이들 중 둘째로 위스콘신주 밀워키에서 태어나 자랐다. 그는 11학년에 중퇴하기 전에 제임스 매디슨 고등학교를 다녔다. 결국 알코올 중독이 심해져 어머니는 그를 강제로 집을 나가게 했다. 스칼버는 위스콘신주의 보존 군단 직업 프로그램에 훈련용 목수로 고용되었다. 그는 감독관인 에드워드 패츠로부터 이 프로그램을 마치면 정규직으로 채용될 것이라는 약속을 받았지만, 패트는 해고당했고, 그 결과 스칼버의 전임직은 실현되지 않았다고 말했다.