伯特·沃波尔爵士（即第一代奥福德伯爵）的其中一位姪外孙女，也是辉格党政治家第二代奥福德勋爵（2nd Lord Walpole，1723年－1809年，后晋为第一代奥福德伯爵）的表妹。第二代奥福德勋爵同时是纳尔逊的教父，因此父母为纳尔逊起名时，取用其教父的教名「霍雷肖」（Horatio）。纳尔逊的父母在1749年5月11日结婚，共生有11位孩子，纳尔逊排行第六，但十一名孩子中仅有八位存活下来，当中纳尔逊是家中第三位没有夭折的孩子。纳尔逊9岁丧母，故家中大小皆要由父亲一力承担。纳尔逊幼年时入读位于诺维奇的英