Den ble grunnlagt i 1836 av Edward Ellice, Whig-innpisker, hvis rikdommer kom fra bankvirksomheten til Hudson's Bay Company. Navnet har den fra grunnleggeren og hans medspillere som sørget for at Reformakten fra 1832 gikk igjennom i Parlamentet. Den nye klubben hadde medlemmer både fra Underhuset og Overhuset, og var ment å være et sentrum for de radikale ideer som Reformakten representerte. Den skulle være en bastion for liberale og progressive ideer som ble assosiert med det liberale partiet som hadde etterfulgt Whig-partiet midt på 1800-tallet.