Josef Stalin
menunjukkan kesukaan pada bunga-bungaan, dan di kemudian hari ia suka merawat taman. Dacha miliknya yang terletak di Volynskoe, kawasan permukiman di pinggiran kota Moskwa, dikelilingi taman seluas 50 ekar (20.23 hektare), tempat Stalin mencurahkan banyak perhatian pada kegiatan bercocok tanam. Stalin juga suka bermain biliar, bahkan sangat piawai.
Stalin tidak suka bepergian, dan enggan berangkat dengan pesawat terbang. Selaku pemimpin Uni Soviet, ia jarang meninggalkan Moskwa, selain ke dacha miliknya untuk berlibur. Rumah yang ia sukai sebagai tempat berlibur berubah-ubah dari tahun ke tahun, meskipun setiap tahun ia pergi berlibur ke daerah-daerah di kawasan selatan Uni Soviet sejak 1925 sampai 1936, dan
kembali melakukannya sejak 1945 sampai 1951. Sama seperti tokoh-tokoh senior lainnya, ia memiliki sebuah dacha di Zubalova, 35 km di luar kota Moskwa, meskipun tidak lagi ia gunakan semenjak Nadya bunuh diri pada tahun 1932. Selepas tahun 1932, ia lebih suka berlibur di Abkhazia, karena bersahabat dengan pemimpinnya, Nestor Lakoba. Dacha
Kuntsevo, dacha barunya, dibangun pada tahun 1934; dacha yang berjarak 9 km dari Kremlin ini menjadi tempat tinggal utamanya. Pada tahun 1935, ia mulai menggunakan sebuah dacha baru yang disediakan baginya oleh Nestor Lakoba di Novy Afon; pada tahun 1936, ia memerintahkan pembangunan dacha Kholodnaya Rechka yang dirancang oleh Miron Merzhanov di
kawasan pesisir Abkhazia. Sebelum perang Dunia II, ia membangun lagi wastu di Lipki dan Semyonovskaya, serta sekurang-kurangnya empat buah dacha di kawasan selatan pada tahun 1937, termasuk dacha yang terletak di dekat Sochi. Sebuah vila mewah miliknya di dekat Gagri adalah pemberian Lavrenti Beria. Di Abkhazia, ia memiliki sebuah tempat petirahan di daerah pegunungan.
Seusai perang, ia membangun lagi beberapa dacha di Novy Afon, di dekat Sukhumi, di Perbukitan Valdai, dan di Danau Mitsa. Wastu lain yang ia miliki terletak di dekat Zelyony Myss di pesisir Laut Hitam. Seluruh dacha, wastu, dan istana ini dirawat oleh barisan pengurus rumah tangga, diperlengkapi dengan perabot dan peralatan yang memadai, diawasi pasukan-pasukan penjaga
keamanan, lebih banyak digunakan secara pribadi, dan sesekali digunakan pula untuk urusan-urusan diplomatik.
Meskipun secara terbuka mengutuk antisemitisme, Stalin berulang kali dituduh sebagai orang yang antisemit. Orang-orang yang mengenal Stalin, seperti Nikita Khrushchev, menduga bahwa ia sudah lama memendam sentimen negatif terhadap orang Yahudi, dan kecenderungan antisemit dalam kebijakan-kebijakan Kremlin semakin meningkat akibat perseteruannya dengan Leon Trotsky. Setelah Stalin wafat, Nikita Khrushchev mengaku diberi
isyarat oleh Stalin untuk memicu gerakan antisemit di Ukraina, konon dengan berkata bahwa "para buruh yang baik di pabrik semestinya diberi pentungan agar dapat mementung habis orang-orang Yahudi itu." Pada tahun 1946, Stalin konon secara tertutup pernah berkata bahwa "setiap orang Yahudi berpotensi menjadi mata-mata." Robert Conquest berpendapat bahwa meskipun memiliki rekan-rekan keturunan Yahudi, Stalin
justru mendukung antisemitisme. Robert Service memperingatkan bahwa "tidak ada bukti yang tak terbantahkan" mengenai jejak antisemitisme dalam karya-karya tulis Stalin yang telah diterbitkan, sekalipun pernyataan-pernyataan tertutup dan tindakan-tindakannya di muka umum "tidak dapat disangkal menyiratkan antipati terhadap orang Yahudi"; ia menambahkan pula bahwa
seumur hidup Stalin, orang Georgia ini "adalah teman, rekan, maupun pemimpin bagi orang-orang Yahudi yang tak terkira jumlahnya". Menurut Lavrenti Beria, Stalin bahkan pernah menjalin hubungan asmara dengan beberapa orang perempuan keturunan Yahudi.
Bagi Stalin, persahabatan itu penting. Ia memanfaatkan hubungan persahabatannya untuk meraih dan mempertahankan kekuasaan. Menurut pengamatan Stephen Kotkin, Stalin "lazimnya tertarik pada orang-orang yang sama dengan dirinya, yakni "parvenu intelligentsia" (cendekiawan pendatang baru) dari kalangan rakyat jelata". Ia memberi nama panggilan kepada orang-orang yang ia sukai, misalnya Nikolai
Yezhov yang ia beri nama panggilan "murbei hitamku". Stalin pandai bergaul dan suka berkelakar. Menurut Simon Montefiore, hubungan persahabatan Stalin "berkisar di antara kasih sayang, kekaguman, dan cemburu buta". Saat menjadi kepala negara Uni Soviet, ia masih terus berhubungan dengan banyak sahabat lamanya di Georgia. Ia menyurati dan mengirimkan uang kepada mereka.
Stalin tertarik pada perempuan, dan tidak ada laporan mengenai kecenderungan homoseksual pada dirinya; menurut Simon Montefiore, pada masa mudanya Stalin "jarang terlihat di muka umum tanpa menggandeng seorang teman wanita". Ia suka bergonta-ganti pasangan intim, tetapi jarang membicarakan urusan ranjangnya. Simon Montefiore mencermati bahwa Stalin lebih suka pada "perempuan-perempuan muda,
remaja-remaja belasan tahun yang masih rentan termakan rayuan maupun gadis-gadis desa bertubuh sintal", yang ia anggap dapat mendukung dan tidak akan menyusahkan dirinya. Menurut Robert Service, Stalin "memandang perempuan sebagai sumber kepuasan birahi dan kenyamanan rumah tangga". Stalin menikah dua kali dan menurunkan beberapa orang anak. Istri pertamananya, Ekaterina
Svanidze, ia nikahi pada tahun 1906. Menurut Simon Montefiore, Stalin dan Ekaterina Svanidze adalah "pasangan cinta sejati"; Dmitri Volkogonov menduga bahwa Ekaterina Svanidze "mungkin adalah satu-satunya manusia yang pernah sungguh-sungguh dicintainya". Pasangan ini menurunkan seorang putra, Yakov, yang kerap membuat Stalin merasa frustrasi dan jengkel. Yakov
sudah memiliki seorang putri, Galina, sebelum pergi berjuang bersama Tentara Merah dalam Perang Dunia II. Ia ditawan Tentara Jerman dan kemudian bunuh diri. Saat Yakov masih ditahan, Jerman pernah menawarkan untuk menukar Yakov dengan Friedrich Paulus, Marsekal Lapangan Jerman yang ditangkap oleh Uni Soviet selama Pertempuran Stalingrad, tetapi Stalin menolak tawaran tersebut dan konon malah menjawab "Saya tidak akan menukar seorang Marsekal dengan seorang Letnan."
Istri kedua Stalin bernama Nadezhda Alliluyeva; keduanya tidak begitu rukun, dan sering cekcok. Stalin dan Nadezhda Alliluyeva menurunkan dua orang anak-seorang putra yang diberi nama Vasily, dan seorang putri yang diberi nama Svetlana-serta mengasuh seorang putra angkat yang bernama Artyom Sergeev, pada tahun 1921. Selama pernikahannya dengan Nadezhda, Stalin
menjalin hubungan asmara dengan banyak perempuan lain, sebagian besar di antaranya adalah rekan-rekan perempuan atau istri-istri dari rekan-rekan sesama pejuang revolusi. Nadezdha akhirnya dapat mengendus perselingkuhan suaminya, dan bunuh diri pada tahun 1932. Stalin menganggap Vasily sebagai anak manja dan kerap mencela perilakunya; selaku putra Stalin, kenaikan pangkat Vasily dalam jenjang
jabatan Tentara Merah tetap saja diperlancar sehingga memungkinkannya untuk hidup berfoya-foya. Sebaliknya hubungan Stalin dan Svetlana sangat dekat ketika putrinya itu masih kanak-kanak, dan ia juga sangat sayang pada Artyom. Di kemudian hari, ia menolak semua pinangan yang ditujukan terhadap Svetlana dan tidak merestui semua pernikahan putrinya,
sehingga meretakkan hubungan kasih sayang di antara keduanya. Selepas Perang Dunia II, ia hanya meluangkan sedikit waktu bagi anak-anaknya, dan peranan keluarga semakin lama semakin tidak penting lagi dalam kehidupannya. Setelah Stalin wafat, Svetlana mengganti nama belakangnya dari Stalin menjadi Alliluyeva, dan membelot ke Amerika Serikat.
Setelah Nadezdha wafat, Stalin menjadi semakin akrab dengan kakak iparnya, Zhenya Alliluyeva; Simon Montefiore yakin bahwa keduanya mungkin sekali menjalin hubungan asmara. Ada desas-desus yang menyebar, meskipun tanpa bukti, bahwasanya sejak 1934, ia menjalin hubungan asmara dengan pengurus rumah tangganya, Valentina Istomina. Stalin sekurang-kurangnya memiliki dua orang anak hasil