Han sluttet på folkeskolen før fullført 7. klasse. Levin var elev av blant andre professor Arpad Lehner, Fartein Valen og klaverpedagogen Nils Larsen som førte ham fram til offentlig debut i Universitetets Aula i 1932. Da hadde Levin allerede vært musiker i kino- og restaurantorkestre i en årrekke. Levin begynte yrkeskarrièren som 13-åring på pianoet til restaurant Kjøttkaka i Markveien i Oslo. Han var pianist i orkestrene ved Frimurerlogen og Bristol, hvor han spilte under blant andre kapellmestrene Julius Czismar og Willy Johansen. Derfra gikk veien til Rosekjelleren og Chat Noir.