Казандзидис родился в Неа-Иония, Афины, Греция. Он был первым из двух братьев в семье греческих беженцев из Малой Азии, нашедших убежище в Греции в результате греко-турецкой войны (1919—1922). Его мать на момент переезда говорила только по-турецки. Стелиос оказался сиротой в возрасте 13 лет, когда его отец, член греческого Сопротивления, был замучен до смерти. Это заставило Казандзидиса устроиться на работу в качестве носильщика багажа, на Площади Омония, а затем он работал в Международной автобусной компании, в качестве продавца жареных каштанов на открытых рынках и на текстильной фабрике в Неа-Ионии.