Fue hermano de los escritores Carmen Baroja y Ricardo Baroja y tío del antropólogo Julio Caro Baroja y del director de cine y guionista Pío Caro Baroja.