Han begynte å synge i små klubber i New Jersey før han endelig fikk oppmerksomheten til trompetist og orkesterleder Harry James. I juni 1938 skriver Sinatra en toårig kontrakt med James, et samarbeid som fører til Sinatras første kommersielle utgivelse, «From the Bottom of My Heart». Dårlige platesalg og manglende anerkjennelse gjør at Sinatra bryter samarbeidet med Harry James i november 1939, og blir vokalist i Tommy Dorsey Orchestra. Sinatra hadde ingen formell utdannelse eller opplæring i musikk, blant annet lærte han aldri å lese noter. Som vokalist i orkesteret til Tommy Dorsey lærte han seg både frasering og evnen til å trollbinde publikum, noe som bidro til at karrieren han skjøt fart.