El origen de su nombre, Casa de Pilatos, proviene de un Vía Crucis que se comenzó a celebrar en la ciudad en la década de 1520 (se conservan los azulejos que representan cada una de las estaciones a lo largo del mismo).