Frazer ble født 4. mars 1892 i Nashville, Tennessee. Han var sønn av James Frazer, en sakfører og dommer og Mary Washington som nedstammet fra George Washington.