I 1950-årene havnet han kunstnerisk i skyggen av Yves Montand, hvis sanger og musikalske stil var svært lik hans egen. Mange av hans ble overtatt av andre musikere og sangere. I 1960-årene flyttet han til Cagnes-sur-Mer i Provence, og det ble gradvis stillere rundt ham.