Andropov sống tại 26 Kutuzovski prospekt, cùng căn nhà mà Suslov và Brezhnev cũng ở. Đầu tiên ông cưới Nina Ivanovna. Bà sinh cho ông một người con trai và anh ta đã chết trong những hoàn cảnh bí ẩn hồi thập niên 1970. Năm 1983 bà bị chẩn đoán ung thư và trải qua một cuộc phẫu thuật thành công. Ông gặp người vợ thứ hai, Tatyana Filipovna, trong Thế chiến II tại Mặt trận Karelian khi bà là một thư ký của Komsomol. Bà đã bị một cơn suy nhược thần kinh trong Sự kiện năm 1956 ở Hungary. Chỉ huy cận vệ của Andropov đã thông báo với Tatyana về cái chết của chồng minh. Bà đã bị tác động quá mạnh để có thể tham gia vào lễ tang và trong buổi lễ những người thân đã phải dìu bà đi. Trước khi quan tài Andropov được đóng lại. Bà đã chạm vào tóc ông và hôn ông một lần nữa. Năm 1985, một bộ phim dài 75 phút được phát sóng trong đó Tatyana (không xuất hiện trước công chúng từ sau lễ tang Andropov) đọc những bài thơ tình yêu do chồng mình viết. Tatyana ốm và qua đời tháng 11 năm 1991. Andropov có một con trai, Igor (chết tháng 6 năm 2006) và một con gái, Irina (sinh năm 1946).