Denny se narodil 20. června 1822 blízko města Salem v Indianě, avšak jeho rodina se později usadila v okrese Knox na severozápadě státu Illinois. Jeho otec, John Denny, bojoval v britsko-americké válce a později sloužil jako zákonodárce státu Illinois, volen za stranu Whigů. Denny neměl snadné dětství. Jako malý se musel starat o svou invalidní matku, zatímco chodil do školy. Vyučil se tesařství a studoval mapování. Stal se stavebním inženýrem a v roce 1843 byl zvolen zeměměřičem okresu Knox. Ve stejném roce si 23. listopadu vzal Mary Ann Borenovou, s níž měl později šest dětí.