Han var fra gården Aanesland i Birkenes (tidligere Vegusdal) kommune. Gården ligger ca. 2 mil nord for Birkeland sentrum. Han var det eldste av fem søsken etter gårdbruker Are Aanesland (1904–1973) og Guro (f. Løland; 1906–1994). Han giftet seg i 1961 med agronom Elisabeth Ella Broch (1937–1992). De fikk tre sønner: Steinar Broch (f. 1962), Audun (f. 1964) og Kjetil (f. 1979).