Sus padres eran Kate Cole y Samuel Fenwick Porter; un empresario, propietario de varias tiendas de droguería en Perú, pero que no alcanzaba el nivel económico de su suegro, era aficionado a la música y un buen pianista, de quien Cole heredó sus cualidades musicales.