Han er sønn av kunsthistorikeren Alf Bøe, og sønnesønn av arkeologen Johannes Bøe. Hans mormor var Elisabeth Reiss.