Fue encargado de la erección de la fortaleza un tal Gabriel de Ureña, que utilizó su crueldad para conseguir baratos los materiales (piedras, vigas, etc.) y de ahí que el recuerdo de sus malos modos quedara desde entonces grabado en los naturales del pueblo, que estos todavía denominan «castillo de la mala sombra» al que preside la silueta de su pueblo.