Han var av portugisisk og italiensk avstamning, ettersom hans far var født på Azorene, og hans mor var født til en stor italiensk familie i California. Mens han gikk på Berkeley High School, begynte Martin å spille for Oakland Junior Oaks, som var tilknyttet klubben Pacific Coast League Oakland Oaks. Etter å ha gjort ferdig den avsluttende eksamen i 1946, ble han signert av Eddie Leishman som var medlem av Idaho Falls i klasse D i Pioneer League. Martin begynte sin karriere i Major League i 1950 som en andre baseman for Yankees.