El edificio ha tenido diversos usos a través de la historia, además de su función original de residencia de los condes de Luna, como el ser sede del Tribunal de la Inquisición de la ciudad y vivienda particular, entre otros.