Michel Legrand fikk sine første musikalske inntrykk fra faren Raymond Legrand som ledet et varieté-orkster som akkompagnerte Édith Piaf, Maurice Chevalier og andre sangere. Han studerte ved Conservatoire de Paris, blant annet under Nadia Boulanger, der han tok slutteksamen i 1952.