Varda ble født i Belgia med gresk far og fransk mor. Familien flyttet i 1940 til Sète i Frankrike, der hun tilbrakte tenårene. Da hun var 18 år gammel skiftet hun fornavn til Agnès.