вы ему надоели, в общем-то. вернее, он вас не любит и знает, что никуда не денетесь.  надоело вам все - собирайтесь и уходите. некуда уходить - терпите. он может подать на развод, оставить детей себе, выгнать вас и подать на вас на алименты. снимать он может и может, но не хочет. какой ему в этом смысл, если ваы расходитесь?