Antoni Karwowski vokste opp i en liten by øst i Polen, omgitt naturparken Biebrza Nasjonal Park. Hans far, Jozef Karwowski, var sosialarbeider og jobbet med å fremme kultur. Hans mor Larysa (født Zub) jobbet som frisør. Antoni hadde en yngre bror, Maciej. Han vokste opp i en flergenerasjonsfamilie under sterk innflytelse fra sin far og sin russiske bestefar Szymon Zub. Karwowskis første leksjon i tegning fikk han fra sin far. Dette, sammen med kontakt med sin kreative bestefar som skrev dikt og som sang gamle russiske sanger, påvirket hans senere fremtidige karrierevalg. Arven som bestod av både polsk og russisk kultur og tradisjoner sammen med en oppvekst med mye kontakt med vill natur påvirket sterkt hans kunstneriske identitet.