Entre 1351 et 1353, différents membres de la famille des Bouteillers vendent la plupart de leurs possessions, rachetées en grande partie par Robert de Lorris, chambellan du roi. Ce dernier devient ainsi seigneur de Pontarmé (aux côtés de l'évêque de Beauvais bien entendu). Accusé avec d'autres conseillers du Roi d'être en partie responsable de la défaite de Poitiers en 1356, de Lorris échappe de peu à la confiscation de ses biens. Lors de la Grande Jacquerie en 1358, le seigneur se trouve dans son château de Thiers qui est pillé et incendié. Robert de Lorris et sa famille demeurent sains et saufs moyennant des promesses faites aux insurgés, et il paraît que le château de Pontarmé est épargné : en effet, il n'est pas mentionné dans l'action en justice que le seigneur intente aux saccageurs de ses châteaux d'Ermenonville et de Montépilloy. De Lorris vit encore pendant une vingtaine d'années. Ensuite, Pierre Lorfèvre, avocat en Parlement, rachète successivement de sa veuve diverses terres à Pontarmé, et sa famille finit par devenir seigneur du lieu.