John Sedgwick wurde in den Berkshires, einem Bereich der Appalachen in Connecticut, in einer Familie mit militärischer Tradition geboren. Sein Vater war Benjamin Sedgwick (1781–1857). Er wurde nach seinem Großvater John Sedgwick (1742–1820) benannt, der während der Amerikanischen Revolution mit Ethan Allen bei der Ticonderoga gekämpft und mit George Washington in Valley Forge überwintert hatte.