Se encontraba intramuros, no muy lejos del alcázar de la ciudad, en un edificio que perteneció a la familia de los Acuña y que había sido incautado por Carlos I por haber servido de lugar de reunión a los comuneros baezanos.