En el libro "En busca del unicornio" del escritor Jienenense Juan Eslaba Galán, se hace alusión a este palacio y al fuerte cordón umbilical que lo unía con los Obispos de Jaén.