Stelios Kazantzidis stammet fra en pontuskgresk flyktningefamilie. Han ble foreldreløs i en alder av 13 år da hans far, et medlem av en av de mange greske motstandsgrupperingene, ble torturert til døde. Dette tvang den unge Kazantzidis ut i arbeidslivet. Han hadde flere jobber. Han jobbet blant annet som en bagasjebærer på Omoniaplassen og deretter for et mellomstatlig busselskap, som en selger av ristede kastanjer ved åpne markeder, og som arbeider på forskjellige tekstilfabrikker rundt om i Nea Ionia.