1935 में एलसा को हृदय और गुर्दे की समस्याओं का पता चला और दिसंबर 1936 में उनकी मृत्यु हो गई। 1923 में, आइंस्टीन को बेट्टी न्यूमैन नामक एक सचिव से प्यार हो गया, जो एक करीबी दोस्त, हंस मुशाम की भतीजी थी। 2006 में येरुशलम का हिब्रू विश्वविद्यालय द्वारा जारी पत्रों में, आइंस्टीन ने छह महिलाओं के बारे में वर्णन किया, जिनमें शामिल हैं- मार्गरेट लेबाच (एक गोरा ऑस्ट्रियन), एस्टेला काटजेनबेलोजेन (एक फूल व्यवसाय के धनी मालिक), टोनी मेंडल (एक धनी यहूदी विधवा) और एथेल माइनोव्स्की (एक बर्लिन सोशलाइट), जिनके साथ उन्होंने समय बिताया और जिनसे उन्हें एल्सा से शादी करते हुए उपहार मिले। बाद में, अपनी दूसरी पत्नी एल्सा की मृत्यु के बाद, आइंस्टीन मार्गरिटा कोन्नेकोवा के साथ संक्षिप्त रिश्ते में थे, वह एक विवाहित रूसी महिला जो एक रूसी जासूस भी थी जिसने विख्यात रूसी मूर्तिकार सर्गेई कोनेनकोव से शादी की, जिसने आइंस्टीन के कांस्य अर्ध-प्रतिमा का प्रिंसटन में निर्माण किया।