Han er kjent for hans interesse for baskisk kultur, historie og samfunn. Han var baskisk herkomst og nevø av den kjente forfatteren Pio Baroja, og hans bror, maler, forfatter og gravør Ricardo Baroja. Baroja ble gravlagt i nærheten av familiens hjem i Itzea i Navarra. Julio var eldste sønn av redaktøren Rafael Caro Raggio som grunnla forlaget Editorial Caro Raggio Madrid i 1917. Hans mor var Carmen Baroja, en spansk forfatter og etnolog som ofte skrev under pseudonymet Vera Alzate. Som barn flyttet hele familien til byen Vera de Bidasoa hvor Julio tilbrakte mye tid sammen med sin onkel Pio Baroja. Hans tidlige skolegang fant sted ved Instituto-Escuela de Madrid mellom 1921 og 1931.