1797-1802 deltog Fox endast undantagsvis i parlamentets överläggningar och levde på sitt landställe S:t Anne's Hill, sysselsatt med omfattande studier, trädgårdsskötsel och förberedelser till en historia över den engelska revolutionen 1688, av vilket arbete blott en liten del hann bli färdig. (Detta föga betydande arbete, "History of the early part of the reign of James II", utgavs postumt 1808.) Efter unionen med Irland (1800) förklarade han sig till förmån för katolikerna på ön och ansåg, att de hade rätt att fordra valbarhet till parlamentet.