I tiden 1797-1802 deltok Fox bare unntaksvis i parlamentets overlegninger og levde på sitt landsted St Anne's Hill, sysselsatt med omfattende studier, hagebruk og forberedelser til en historie over den engelske revolusjon i 1688, som han imidlertid bare fikk skrevet litt av. Etter unionen med Irland (1800) uttalte seg han til fordel av katolikkerne på øya og mente at de hadde rett til å kreve valgbarhet til parlamentet.