Aprendió el golf con su papá Milred "Deacon" Palmer, quién había padecido poliomielitis en la infancia y desde temprana edad fue el responsable de cuidar el campo de golf en Latrobe, acompañando desde su niñez a su papá y ayudando en los trabajos para conservar el campo de golf en buenas condiciones.