Не играйте с ним в игры, если не хотите этого. Скажите ему об этом. Создайте ситуацию и поговорите с ним максимально открыто и честно, пусть откроется, вплоть до того что поделитесь  своими опасениями по поводу того что вас тревожит. Посмотрите на него - и если поверите да. Если нет, уже проще расстаться.