Ингерсолл происходил из известного коннектикутского рода. Его дедом по материнской линии и тезкой был известный в Нью-Хейвене и Брэнфорде Ральф Айзекс-младший, торговец, получивший образование в Йельском университете. Джонатан Ингерсолл, дед Ингерсолла по отцовской линии был священником и капелланом армии Коннектикута во время войны с французами и индейцами, и приходился братом британскому колониальному чиновнику Джареду Ингерсоллу-старшему. Сын его двоюродного дяди, Джаред Ингерсолл, занимал пост генерального прокурора Пенсильвании и приходился отцом конгрессмену Чарльзу Джареду Ингерсоллу и дедом его двоюродному брату, литератору Эдварду Ингерсоллу. Его двоюродный брат, Ральф Айзекс III, был отцом Мэри Эстер Малбоун Айзекс, которая в 1813 году вышла замуж за сенатора США Натана Сэнфорда.