Автор, безусловно вам надо разводиться, потому как на вашей шее всё-таки паразит. Он мелкий, но паразит и его присутствие вам действует на нервы.Подавайте на развод и алименты, попросите его уехать. Ребенок не при чём, занимайтесь им, как должно родителю. Потом встретите не паразита и жизнь заиграет новыми красками, вот увидите.