义者常用这个论述来说服其他温和派的自由意志主义者，而自由意志主义的批评者则批评完全的互不侵犯原则将会导致无政府状态—只不过与前者不同的是，他们在观念上将无政府状态当成了贬抑词。
社会契约.有些人对于互不侵犯原则的批评则是根基于社会契约理论上的。更具体的说，大多数社会契约的支持者会认为税赋只不过是契约的费用，而政府收集税赋则是扮演着代理人的角色，代表社会上的成员的一些共同利益。然而，赫伯特·斯宾塞则主张道：「如果所有人都有自由做出任何他想做的事，只要以不侵犯到他人的同等自由为限，那么