Na het mislukte beleg van Maastricht in 1793 en voorafgaand aan de hernieuwde opmars van de Franse revolutionaire troepen in 1794, volgde Van Panhuys het voorbeeld van veel andere welgestelde Maaslanders en vluchtte hij eind september 1794 naar het noorden. Met zijn gezin verbleef hij enkele maanden in Leiden, waar zijn zoon Johan Cornelis studeerde. Drie maanden na de inname van Maastricht achtte hij de situatie veilig genoeg om terug te gaan. Door de inlijving van Maastricht en de Landen van Overmaas bij Frankrijk werd het leven van Van Panhuys, zoals dat van zovelen, op zijn kop gezet. Hij verloor in één klap al zijn functies en privileges. De oude feodale instellingen werden opgeheven en nieuwe bestuurders, veelal Fransen of Fransgezinden, namen de plaats in van de oude regentenfamilies.