Неправильно где-то, да. Главное чтобы у Вас были свои собственные интересы, своя жизнь, не связанная с ним. А разводиться не надо, конечно, зачем? Счастливы Вы все равно не будете. У меня гораздо хуже чему у Вас, я все равно не разведусь. Но здесь такое мнение не в тренде, что называется..