Vernon hatte einen älteren Bruder, Fred. Er diente im Zweiten Weltkrieg in der US-Army und fiel 1944 bei der Landung in der Normandie. Lillian Vernon war drei Mal verheiratet; in ihrer ersten Ehe bekam sie zwei Söhne.