Au cours du XVIe siècle, la demeure passe dans la famille de Llupià par le mariage, en 1530, d'Angela Xanxo avec Francesc de Llupià i de Vallgornera. Ce dernier devient, en 1532, Procureur Royal des Comtés de Roussillon et de Cerdagne, charge dans laquelle son fils Lluis de Llupià i Xanxo lui succéde, puis les fils de ce dernier, d'abord Gabriel puis Joan de Llupià i Saragossa. Lors de la Guerre des Segadors, au cours de laquelle s'opposent la France et l'Espagne pour la conservation de la Catalogne, Joan de Llupià choisit le parti espagnol et s'exile à Barcelone en 1652. Ses biens sont confisqués et sa demeure est attribuée, entre 1653 et 1660, à Isabel Dulach, épouse de l'intendant militaire français Pierre Talon, et ce jusqu'à la restitution des biens ordonnée par le traité des Pyrénées. Vendue par les Llupià en 1666 à la famille de Foix-Béarn, elle passe ensuite par héritage à la maison d'Oms. Le marquis Joseph d'Oms (1722-1807) pense un temps la détruire totalement pour la remplacer par un hôtel particulier de style classique pour lequel il fait réaliser des plans par les architectes Duclos et Genton, mais le projet est abandonné vers 1785. La maison est confisquée par l'administration révolutionnaire au marquis d'Oms lors de son émigration.