По всему тому, что вы написали, видно, что вы боитесь сказать ему правду в лицо. Вам очень хочется, чтобы все  само рассосалось, и было, как раньше. К сожалению, проблемы будут только нарастать, и вам придется сделать решительные шаги. Вы должны сесть с ним, и поговорить прямо. Четко изложить, что вас не устраивает, и как он видит выход из сложившейся ситуации. Исходя их его ответов и строить дальнейшие планы. У вас нет больше времени мямлить, придется выбирать. На кону ваша психика и дети. Вы совершенно нормальная молодая женщина, не вздумайте винить себя во всем. Пора бороться с созависимостью.