William Wharton urodził się w Ameryce w rodzinie robotniczej, tam spędził pierwsze lata swego życia i odebrał wykształcenie, ale większość swojego dorosłego życia spędził we Francji. Jego prawdziwe nazwisko brzmi Albert du Aime, a przodkowie przybyli do Ameryki właśnie z Francji. W 1943 r. ukończył Upper Darby High School. W czasie II wojny światowej zgłosił się ochotniczo do armii amerykańskiej i walczył na terenie Europy. W czasie ofensywy w Ardenach odniósł rany i został wysłany do Ameryki. Do końca życia nie odzyskał pełnej sprawności. Renta inwalidzka pozwoliła mu na podjęcie studiów – ukończył studia na wydziale sztuk pięknych University of California, Los Angeles, zdobył także doktorat z psychologii. Potem uczył w szkołach w Kalifornii.