Legrand begynte som jazzmusiker ved å arrangere et strykeralbum for Dizzy Gillespie. I 1952 fulgte han Maurice Chevalier på turné i USA.