Kaas ble født i Rødovre som sønn av skuespiller Preben Kaas og skuespiller og forfatter Anne Mari Lie. Han har fire halvsøsken på farens side, blant dem komponisten Jeppe Kaas. Foreldrene gikk fra hverandre i 1975, og Kaas vokste deretter opp hos sin mor og mormor i Rødovre.