Borges hadde stor allmennkunnskap, noe som nok skyldtes miljøet rundt ham. Både farmor og mor var engelske, faren underviste i filosofi og psykologi på engelsk. Fra 1914 av tilbragte han atskillige år i Sveits og Spania, der han blant annet lærte seg tysk, latin og fransk. Han var fortrolig med nordiske sagaer, Kinas litteratur, antikken, den tyske middelalderen, det gamle Fjerne østen og Kabbalaen.