Вы не плохой человек,просто в вашей голове семейная жизнь-это вы и муж. Поэтому другой человек ,который по вашему мнению в этой схеме лишний вас раздражает. И это по идее правильно.Люди создают пару друг с другом.потом принимают решение завести детей,потом 9 месяцев на "принять" это,а потом ребенок растет .Здесь схема,природой не предусмотренная и далеко не каждый даже из тех,кто обозвал вас гадиной  сам мог бы радоваться жизни дальше в такой ситуации.