Baker nació en Londres y tras ser aprendiz de un librero desarrolló un sistema para enseñar a sordos y mudos que le hizo rico y atrajo la atención, entre otros, de Daniel Defoe, con cuya hija más joven, Sophia, terminaría casándose en 1729.