Svend Asmussen vokste opp i en musikalsk familie. Fra han var seks år gammel fikk han undervisning i fiolin. Han ble skolert i klassisk fiolinspill. Som 16-åring hørte han en grammofonplate med Joe Venuti og Eddie Lang, og ble inspirert av deres stil.