Woolley ble født i New York City inn i en velstående familie (hans far eide Bristol Hotel) og han vokste opp i de høyeste sosiale sirkler i New York. Woolley ble utdannet ved Yale University og senere også ved Harvard University. Han ble etter hvert en assisterende professor i engelsk og dramalærer ved Yale. Thornton Wilder og Stephen Vincent Benét var blant hans mer kjente studenter.