Cramer kom som treåring med sine foreldre til London. Han begynte sine opptredender i ung alder. Den britiske dronning Victoria var begeistet over hans prestasjoner. Hans lærere var Hélène de Montgeroult ved Conservatoire de Paris og Muzio Clementi. Hans far, Wilhelm, var en berømt fiolinist ved Mannheim-hoffets orkester, likeså hans bestefar.