Baroja nació en Madrid el 5 de abril de 1928, siendo el cuarto hijo de la escritora y etnóloga Carmen Baroja y Nessi y del editor Rafael Caro Raggio.