Colts far het Christopher Colt (1777–1850), og var en jordbruker som hadde flyttet sin familie til byen etter at han ble en forretningsmann, moren het Sarah Caldwell. Hun døde av tuberkulose da sønnen var seks år gammel. Han hadde tre søstre og tre brødre, hvorav en ble dømt for mord.