Et demokratisk og åpent samfunn er således alltid sårbart for nedbrytning «innenfra» – dvs. fra personer som er villig til å bruke frihetene som et tolerant samfunn gir (f.eks. ytringsfrihet), for å bekjempe nettopp disse frihetene. Et vanlig svar til denne trusselen er at selv et tolerant samfunn bør ha en tålegrense, ved at det ikke godtar ytringer som tar sikte på å avskaffe toleransens fundament. Popper konkluderte f.eks.: «Vi bør derfor i toleransens navn forbeholde oss retten til ikke å tolerere de intolerante.» John Rawls kom til en lignende slutning.