Raff nacque in Svizzera in quanto suo padre, che era un insegnante, si trasferì lì da Württemberg nel 1810 per sfuggire al reclutamento militare, allora in atto in Prussia, per combattere sotto Napoleone nel corso dell'invasione della Russia. Joachim studiò musica da autodidatta, durante il periodo mentre era maestro elementare di scuola a Schmerikon, Svitto e Rapperswil.