Va néixer a Djelfa (Algèria), fill de Joan Ferrer i Conxita Chaler, exiliats republicans terrassencs que hi havien anat a parar després de ser deportats. El 1962, després de la Guerra d'independència algeriana, la família tornà a Catalunya, on Robert Ferrer, que havia rebut una educació francesa i era francòfon, seguí els estudis al Liceu francès de Barcelona fins a ingressar a una escola d'aprenents de mecànic. Posteriorment va començar a exercir de professor de llengua francesa, ocupació que es va convertir en el seu ofici a partir d'aleshores, i es va llicenciar en filologia romànica per la Universitat Autònoma de Barcelona.