Babbage fue el cuarto hijo de Betsy Plumleigh Teape y Benjamin Babbage (Socio banquero del empresario William Praed en fundar Praed9s & Co.)