Fue hijo del matrimonio de Francisco Calderón, nacido en Cuba, quien era Contador de las Cajas Reales, funcionario del gobierno colonial en Cuenca; y de Manuela de Jesús de Garaycoa y Llaguno, guayaquileña, quien pertenecía a una de las más destacadas familias del puerto.