Burtons første kone var Ellen Marie Collins, som han møtte i high school. De to hadde fire barn.