Вам сейчас надо перестать с ним общаться хотя бы недели 2. У вас просто зажим, его надо снять. Это и поможет посмотреть на ситуацию трезво. Короче вы должны через силу, хоть как, ограничить общение на какое-то время. А лучше вообще прекратить и мотивировать сильной занятостью (это если спросит, может и не спросит, тогда не мотивировать ничем).