En 1572 la villa de Retortillo era mantenida por Don Juan de Torres, clavero de la ciudad de Soria y cuyo escudo es el que se identifica con la villa: cinco torres blancas argénteas puestas en sotuer o aspa.