Foreldrene snakket bare georgisk og Josef lærte russisk først under utdannelsen. Russifiseringspolitikken innebar at georgisk, armensk og tyrkisk ikke ble akseptert på skolen, noe som skapt misnøye og opptøyer i Georgia. Selv som voksen snakket han russisk med en viss georgisk aksent. Familienavnet Dzjugasjvili viser at faren var av delvis jødisk opphav, noe Stalin selv verken bekreftet eller benektet. Familien tilhørte den georgisk-orotdokse kirke. Faren var drikkfeldig og stjal ofte morens penger for å kjøpe brennevin. Faren forlot sitt lille skomakerverksted for å arbeid på en skofabrikk i Tbilisi og døde der i 1890. Stalin hadde bare et vagt minne om faren. Tblisi var på den tiden sentrum for industrialisering i Kaukasus som ellers var preget av tradisjonelle stammesamfunn.