投票与否自行决定。反对强制投票的理由视投票并非责任，而是权利。要落实这个权利，公民应有权决定投票，亦有权决定不投票；此论点主张投票正如言论自由，并不意味强迫发言一样。这也正如很多地区都提供基本医疗服务，但少地区强迫买医疗保险或强迫保健一样。一些宗教或教派（例如耶和华见证人）认为信众不应参与世俗政治事务，强迫投票措施就形成伤害他们的宗教自由。不过，在立法强迫投票时，可以指明以宗教理由得免罪。新自由主义者认为，强制投票的法律是侵犯个人自由，而任何罚款，监禁或惩罚都是压迫性的，如同「征税就是小偷」一样。