Se trata de una torre rectangular, más profunda que ancha, dividida en cuatro cuerpos y de un edificio adjunto con una balconada sobre la cual podemos observar el escudo de la familia (en él podrás contemplar armas de los Torre y de los Ortíz–Vela, ya que son los ascendientes los personajes que mandaron construir el Palacio) que es uno de los más grandiosos que se pueden encontrar en Briviesca.