Toleransen har imidlertid også grenser. Disse grensene defineres også av menneskerettighetene og går der hvor noen bruker sine rettigheter til å krenke andre. Man skal således ikke tolerere det som krenker andres menneskeverd og grunnleggende rettigheter. I slike tilfelle bør man i henhold til menneskerettighetene opptre ikke-tolerant (dog ikke intolerant).