Como bibliófilo aficionado frecuentador de librerías de viejo, de la cuesta de Moyano y de los "bouquinistes" a la orilla del Sena en París, fue acumulando Baroja una biblioteca especializada en ocultismo, brujería e historia del siglo que fue instalando en un viejo caserío del siglo destartalado (pero de magnífica construcción), que compró en Vera de Bidasoa y restauró paulatinamente y con gran gusto, convirtiéndolo en el famoso caserío de «Itzea», donde pasaba los veranos con su familia, que se instaló en Vera del Bidasoa, aunque no en el caserío inhabitable por el momento, sino en un piso alquilado, donde falleció el 15 de julio de 1912 su padre Serafín Baroja cuando las obras de la restauración del caserío aún no habían comenzado.