Nascido no Bronx, em Nova York, Berns era filho de imigrantes judeus russos; quando criança foi acometido por febre reumática - doença que contribuiu para a sua morte prematura. Voltando-se para a música, foi influenciado por seus vizinhos latinos e afro-americanos, frequentando na juventude clubes noturnos de mambo, o que o levou a visitar Havana antes da Revolução.