En 1381 el obispo de Valencia ordenó la construcción, al lado de la iglesia, de una residencia de verano para sí y sus sucesores, ya que, de todos los territorios de la mitra valenciana, Villar de Benaduf era el que mejores condiciones climáticas reunía.