Allégret ble født i Basel, Sveits. Han studerte til å bli advokat, men avbrøt utdanningen for å arbeide i filmbransjen. Som 15-åring ble han elskeren til den kjente forfatteren André Gide som da var 47 år gammel. Han var også en kort periode involvert med regissøren Jean Cocteau.