El inmueble fue construido durante la época virreinal, y se le conoce comúnmente por este nombre (más que por el título nobiliario de quienes le habitaron) debido a su cubierta de azulejos de talavera poblana que recubren la fachada exterior del edificio y hacen de ésta obra una de las más bellas joyas de la arquitectura civil del barroco novohispano.