Martino ble født i Sør-Philadelphia. Han begynte å spille profesjonelt i en alder av 15 etter å ha flyttet til New York City. Han bodde i en periode med Les Paul og begynte å spille på jazzklubber som Smalls Paradis. Han flyttet senere inn i en suite på President Hotel på 48th Street. Han spilte på Smalls seks måneder i året, og om sommeren spille han på Club Harlem i Atlantic City.