Joseph Joachim nació en Kittsee (Kopčaño / Köpcsény), cerca de Bratislava y Eisenstadt, actualmente en el estado austríaco de Burgenland, de Julius y Fanny Joachim, que eran judíos húngaros, siendo el séptimo de ocho hijos.