Если дети были не от мужа,  то свою позицию надо было обозначить до зачатия.  А так отец ребёнка в своём праве решать,  кому говорить,  а кому нет,  о том,  что он будет отцом.  А если муж опять не отец,  то пора разводится и жить своей жизнью.