Charles Ira Fox wurde als Sohn von Walter und Mollie Fox in New York geboren. Nach seinem High-School-Abschluss studierte Fox von 1959 bis 1961 unter Nadia Boulanger Musik am Amerikanischen Konservatorium in Fontainebleau, bevor er anschließend unter Lennie Tristano Jazz-Piano und mit Vladimir Ussachevski Elektromusik an der Columbia University studierte. Am Anfang seiner Karriere arbeitete er als Komponist und Arrangeur für Künstler wie Ray Barretto, Tito Puente und Joe Quijano und anschließend bei Bob Israels "Score Productions", wo er für Fernsehsendungen wie "Match Game", "What's My Line?" und "To Tell The Truth" komponierte. Seinen ersten großen Welthit hatte er mit Norman Gimbel, als er mit diesem 1972 den Song "Killing Me Softly with His Song" schrieb und komponierte, für den beide 1974 den Grammy Award als Song des Jahres gewannen.