В таком случае, шлите его в задницу и живите себе спокойно, имеете полное право. Вы на его шее не сидите. И обслуживать его не обязаны. А если ему не нравится - пусть сам сваливает. Не надо делать глупости и срываться с привычного места себе и ребёнку в ущерб из-за того, что он в чём-то вас упрекает, просто учитесь давать отпор. Если, конечно же, развод ПОКА в ваши планы не входит.