Han var noe syk som barn. Omkring syv år gammel fikk han kopper og ansiktet forble arret. En gang som guttunge hadde han en verkebyll (sepsis) i venstre arm og dette førte til at albuen ble noe stiv og han ble derfor kjent uskikket til militærtjeneste. I 10-12 årsalderen hadde han blitt en frisk og sterk. Han var kraftig bygd, men ikke særlig høy (163 cm som voksen). Føttene var delvis deformert. Josef var kjent for sine gode tenorstemme og sang ofte solo ved større arrangement på skolen og i kirken. Det karakteristiske fyldige, mørke håret hadde han også som barn. På grunn av sitt mørke utseende ble han omtalt som asiatisk eller semittisk, og Nikolaj Bukharin kalte Stalin for Djengis Khan.