Tony Lema est né à Oakland, en Californie de parents d'origine portugaise. Tony Lema est devenu orphelin de père à trois ans. Enfant, il a commencé à jouer au golf, mais à l'âge de 17 ans il s'enrôle dans la marine des États-Unis et il part pour la Corée. Après son retour à la vie civile en 1955, il commence un travail dans un club de golf de San Francisco.