Woolson nacque ad Antwerp nello Stato di New York nel 1847, suo padre Willard nel 1861 entrò nell'Esercito dell'Unione, venne ferito gravemente nella Battaglia di Shiloh in Tennessee nel 1862 e venne trasferito nell'ospedale di Windom dove morì per le ferite riportate.