Etter gymnaset seilte Bøe en tid til sjøs. Han studerte deretter kunsthistorie ved Universitetet i Oslo der han i 1954.