Han var medlem av en privat herreklubb, , siden kjent som , og generelt som Hellfire Club. Klubben hadde mange framstående medlemmer, i særdeleshet jarlen av Sandwich og Francis Dashwood. Wilkes var opphavsmann til en skøyerstrek som kan bidratt til klubbens oppløsning. Wilkes skal ha anskaffet en liten ape som ble kledd opp med en kappe og horn for å ligne en djevel, og brakt med seg apen til de ritualer som ble utført i klubben, og det medførte betydelig uro og bråk blant de innvidde.