En la época precolombina, el territorio del actual municipio de San José del Fragua fueron los indígenas pertenecientes a la cultura Inga.