En 1812, junto con John Herschel, George Peacock y otros amigos, formaron la "Analytical Society " Paralelamente Babbage era miembro de otras asociaciones como The Ghost Club, asociación de investigación de fenómenos paranormales y "The Extractors Club ," centrado en la liberación de los miembros del manicomio, en caso de que alguna vez sucediese.