Надо говорить ему, что вам не нравится. Мало кому нравится, когда ему на лицо наваливаются, волосы тянут или руку выкручивают, даже если случайно. Он должен это понимать и вести себя более осторожно. То, что раздражает, это нормально, грубость мало кто любит.