Prima ble født inn i en musikalsk familie i New Orleans. Familien hans hadde emigrert fra Sicilia, og etter et kort opphold i Argentina flyttet de til USA. Prima spilte fiolin i mange år som barn. Hans eldre bror, Leon, var en lokalt anerkjent orkesterleder. Prima var stolt av røttene sine og fortalte ofte publikum at han var en italiensk-amerikaner fra New Orleans.