佐治亚州的奥古斯塔度过他的大部分童年，在那里他的父亲曾任长老会第一教会（）的牧师。威尔逊最早的记忆大约是他三岁时—就是听到亚伯拉罕·林肯当选总统，并且战争即将到来的消息。他还总是回忆起自己曾站在罗伯特·李的身旁并仰视他面庞的情景。威尔逊可能患有阅读障碍症，在家接受父亲的指导，大约过了十岁才开始学习阅读，但他靠自学速记来弥补阅读上的困难，决心和自律确保他学业的成功。他还在奥古斯塔的一个小型学校上过课。在重建时期的1870年-1874年间，因父亲在哥伦比亚神学院担任教授，威尔逊一直在南卡罗来纳州的哥伦比亚