Vardon ble født i Grouville på Jersey. Han spilte fotball på fritiden og var innstilt på å bli gartner, men ble inspirert av sin eldre bror Tom til å begynne med golf da han var i tenårene. I en alder av 20 år var profesjonell. Han ble den første profesjonelle golferen som spilte i knickers, skjorte, slips og jakke, og i løpet av få år var han golfens første superstjerne.