Alvin Morris wurde 1913 in einer portugiesisch-jüdischen Familie in Kalifornien geboren. Bereits mit 10 Jahren erhielt er von seiner Großmutter ein Sopransaxophon geschenkt. Im Schulorchester spielte er dieses Instrument und sang als Knabensopran. Auf der High School gründete er die Jazz-Band "The Red Peppers". Doch schon bald darauf schloss er sich einem Orchester an, das von Tom Guran geleitet wurde (unter den Mitgliedern waren spätere Größen wie Woody Herman und Ginny Simms). Er spielte regelmäßig im Palace Hotel in San Francisco und trat bei der Weltausstellung 1933 in Chicago auf. 1934 verließ Morris die Band und ging nach Hollywood, um sein Glück beim Film zu versuchen. Dazu nahm er den Künstlernamen Tony Martin an.