Ничего страшного в этом не вижу. И для вас отличный способ провести время с дочерью вне дома, пока муж с детьми занимается. Вы согласны были выйти замуж за человека с "довеском", и согласились на совместное проживание в вашей квартире. От ночевки раз в несколько недель ничего страшного не случится.