Charles Robinson besuchte das Amherst College und die Berkshire Medical School, an welcher er bis zu seinem Abschluss im Jahr 1843 Medizin studierte. Danach arbeitete er als Arzt in Belchertown und später in Springfield. Dabei erwarb er sich einen guten Ruf als Spezialist für chronische Erkrankungen. Im Jahr 1847 verlegte er seine Praxis nach Fitchburg. Im Sog des Goldrausches zog Robinson 1849 nach Kalifornien. Er ließ sich in Sacramento nieder, wo er ein Restaurant eröffnete und eine Zeitung herausgab. Robinson setzte sich für die dortigen Siedler ein und gewann bald deren Respekt. Als es zu gewalttätigen Unruhen unter den Siedlern kam, wurde der Bürgermeister von Sacramento ermordet und Robinson verwundet. In diesem Zusammenhang wurde er als Mitschuldiger der Unruhen unter anderem wegen Hochverrats und Mord angeklagt, aber nach einigen Wochen freigesprochen.