Urodził się w 1940, jako syn pisarza i dyplomaty Mirosława Żuławskiego. W momencie ataku Niemiec na Związek Radziecki w czerwcu 1941, podczas bombardowania Lwowa, odniósł poważne obrażenia ciała i stracił wzrok na jedno oko. Gdy miał 4,5 roku, zaklejono mu widzące oko na potrzeby rehabilitacji niewidzącego. W 1945, kiedy Mirosław Żuławski został radcą kulturalnym w ambasadzie Rzeczypospolitej Polskiej w Paryżu, Andrzej uczył się dwa lata we Francji, spotykając się z prześladowaniami ze strony rówieśników. W 1947 rodzina Żuławskich przeniosła się do Pragi, gdzie trzy lata później Andrzej obejrzał swój pierwszy film. W 1956 rodzina Żuławskich ponownie wyjechała do Paryża, gdzie Mirosław reprezentował Polskę w UNESCO. Tam też Andrzej uczęszczał do dwujęzycznego liceum francusko-polskiego, gdzie w 1957 zdał egzamin dojrzałości.