豪尔赫·路易斯·博尔赫斯出生于一個受教育的中產階級家庭，家境不錯。因布宜諾斯艾利斯市中心生活成本过高，博尔赫斯家住在附近的小鎮巴勒莫。豪尔赫·路易斯·博尔赫斯的母親在乌拉圭的傳統克里奧（歐洲白種人在殖民地移民的後裔）家庭長大，她的家人參加過阿根廷独立战争，她經常講她家庭的英勇事蹟。博尔赫斯1929年詩集《聖馬丁札記》中的詩Isidoro Acevedo，就是纪念他的外祖父，他是布宜諾斯艾利斯軍隊的士兵，是阿根廷律師及政治家，他參加過1859年的、1861年的及1880年的。伊西多罗·德·阿塞维多·拉普里达在家中因肺部淤血而過世，這也是豪尔赫·路易斯·博尔赫斯出生的地方。豪尔赫·路易斯·博尔赫斯就在這褪色的家庭荣耀下成長，博尔赫斯的父親有一半的英國血統，部份的西班牙及葡萄牙血統，也是殖民的後民。博尔赫斯·哈斯拉姆的母親是英國人，他在家中常講英文，也常帶他的家人去英國，家中揚抑著英文及英國的事物。