Hijo del editor Rafael Caro Raggio y de Carmen Baroja, miembro de la familia Baroja, hermano del documentalista, etnógrafo y escritor Pío Caro Baroja, fue discípulo de Telesforo Aranzadi, José Miguel de Barandiarán, Hermann Trimborn y Hugo Obermaier, quienes lo encaminaron a la historia y a la etnografía.