Han hadde planer om at sønnen Pierre skulle overta driften, men sønnen døde da Paul-Emile var 64 år gammel, slik at han måtte drive huset i enda 15 år. Pierres sønn, Remy II, overtok driften i 1773. Rémy II jobbet videre med å utvikle huset, og ledet forretningen gjennom den franske revolusjonen.