Russell có hai anh chị: Frank Russell - Bá tước Russell II (hơn Bertrand gần 7 tuổi), và Rachel (hơn 4 tuổi). Tháng 6 năm 1875, mẹ Russell qua đời vì bệnh bạch hầu, ít lâu sau Rachel cũng vậy, và vào tháng 1 năm 1876 cha ông cũng qua đời vì bệnh viêm phế quản sau một thời gian dài bị trầm cảm. Sau đó, Frank và Bertrand được chăm sóc bởi ông bà nội, những người trung thành với các tiêu chuẩn đạo đức thời Victoria. Họ sống tại Pembroke Lodge tại Richmond Park. Bá tước Russell I qua đời năm 1878, bà quả phụ - nữ bá tước Russell (tên thời con gái là Frances Elliot) là người thân quan trọng nhất đối với phần còn lại của tuổi thơ và tuổi trẻ của Russell. Bà bá tước xuất thân từ một gia đình người Scotland theo giáo phái Kevin. Bà đã kiến nghị được một tòa án Anh để bỏ một điều khoản trong di chúc của Amberley rằng các con của ông phải được nuôi dạy thành những người theo thuyết bất khả tri. Mặc dù có tư tưởng bảo thủ tôn giáo, bà vẫn giữ các quan niệm tiến bộ trong các lĩnh vực khác (chấp nhận thuyết Darwin và ủng hộ Irish Home Rule (luật nội bộ Ireland)), và ảnh hưởng của bà đối với quan điểm của Bertrand Russell về công bằng xã hội và sự bảo vệ nguyên tắc đã ở lại trong ông suốt cuộc đời. Tuy nhiên, bầu không khí tại Pembroke Lodge luôn đầy những lời cầu nguyện, sự kìm nén cảm xúc và các nghi thức thủ tục - Frank đã phản ứng với điều này bằng sự nổi loạn công khai, còn Bertrand trẻ tuổi đã học được cách giấu những tình cảm của mình.