La familia D'Croz y la familia Payán vivieron en la isla Gorgona hasta 1960, cuando el presidente de Colombia Alberto Lleras Camargo (1958-1962) apropió las islas, con el pretexto de que las islas de la nación no podían pertenecer a particulares, y construyó allí una prisión de máxima seguridad.