Sedgwick est né à Cornwall dans le Connecticut. Ses parents lui donnent le nom de son grand-père, John Sedgwick (le frère de Theodore Sedgwick), un général de la guerre d'indépendance qui avait servi aux côtés de George Washington. Après avoir enseigné pendant deux années, il intègre l'académie militaire. Il en sort, en 1837, (sur 50) de sa promotion, et est nommé second lieutenant dans l'artillerie. Il combat lors des guerres séminoles et lors de la guerre américano-mexicaine. Il est nommé capitaine à la suite des batailles de Contreras et de Churubusco, puis major après celle de Chapultepec. Il est ensuite transféré dans la cavalerie et sert au Kansas au cours de la guerre de l'Utah. En 1857, il participe à une expédition punitive contre les Cheyennes.