Да, так и говорить: "Не надо  ко мне прикасаться". "Отодвинь стул на полметра в сторону, пожалуйста". Есть люди, которые осознанно или неосознанно стремятся дистанцию  сократить, им просто можно более четко показывать, где у вас проходит граница  и что  она нерушима.