"я не могу открыто сказать о том что мне не нравится;боюсь обидеть... " - вряд ли он у вас провидец и может без подсказок догадаться что не так, говорить нужно обязательно, не в тоне "ты такой рассякой" конечно, но проблему надо обговорить, вместе вы найдете решение, а по отдельности - тогда может лучше развод или любовник?