Do roku 1921 žil s rodiči v Rusku, kam utekli po začátku první světové války, a na Ukrajině, kde zažil Říjnovou revoluci. Poté již rodina přesídlila na Litvu, kde Škėma absolvoval první čtyři roky základní školy v obci Radviliškis a poté gymnázium v Kaunasu. V dětství navštívil Antanas Škėma také Karlovy Vary, tehdy ještě v Rakousku-Uhersku.