Stalin tertarik pada perempuan, dan tidak ada laporan mengenai kecenderungan homoseksual pada dirinya; menurut Simon Montefiore, pada masa mudanya Stalin "jarang terlihat di muka umum tanpa menggandeng seorang teman wanita". Ia suka bergonta-ganti pasangan intim, tetapi jarang membicarakan urusan ranjangnya. Simon Montefiore mencermati bahwa Stalin lebih suka pada "perempuan-perempuan muda, remaja-remaja belasan tahun yang masih rentan termakan rayuan maupun gadis-gadis desa bertubuh sintal", yang ia anggap dapat mendukung dan tidak akan menyusahkan dirinya. Menurut Robert Service, Stalin "memandang perempuan sebagai sumber kepuasan birahi dan kenyamanan rumah tangga". Stalin menikah dua kali dan menurunkan beberapa orang anak. Istri pertamananya, Ekaterina Svanidze, ia nikahi pada tahun 1906. Menurut Simon Montefiore, Stalin dan Ekaterina Svanidze adalah "pasangan cinta sejati"; Dmitri Volkogonov menduga bahwa Ekaterina Svanidze "mungkin adalah satu-satunya manusia yang pernah sungguh-sungguh dicintainya". Pasangan ini menurunkan seorang putra, Yakov, yang kerap membuat Stalin merasa frustrasi dan jengkel. Yakov sudah memiliki seorang putri, Galina, sebelum pergi berjuang bersama Tentara Merah dalam Perang Dunia II. Ia ditawan Tentara Jerman dan kemudian bunuh diri. Saat Yakov masih ditahan, Jerman pernah menawarkan untuk menukar Yakov dengan Friedrich Paulus, Marsekal Lapangan Jerman yang ditangkap oleh Uni Soviet selama Pertempuran Stalingrad, tetapi Stalin menolak tawaran tersebut dan konon malah menjawab "Saya tidak akan menukar seorang Marsekal dengan seorang Letnan."