El palacio lo mandó construir el ilustre prelado a don Juan de Raón, vecino por aquel entonces de Lodosa, Navarra y uno de los canteros más afamados del obispado de Calahorra.