Что говорит ваш муж? Тут оч важно. Я бы не пустила деточку у дом и точка.Это общий дом и без моего согласия никто посторонний и психически больной жить не будет.Обозначить мужу позицию,  что его детьми вы заниматься не будете, что это его крест, и если он хочет, то один сам впрягается в это.