En esta época el Castillo pertenecía a la familia Olzina, después de ser cedido por los Señores del Camp de Tarragona al caballero Ramon de Olzina.