Etter å ha blitt løslatt fra fengsel, startet Holyoake ukeavisen . Den ble tre år senere erstattet av . Han betraktet kristendommen som «en hindring mot rasjonelt fremskritt», og som en «irrelevant spekulasjon» som burde erstattes av et nytt trossystem som var basert på fornuft og vitenskap. Hans navn på denne nye teorien var «sekularisme», og tidlig på 1850-tallet ble flere sekulære organisasjoner grunnlagt i Storbritannia.