Ваш муж имеет ПРАВО общаться со своей дочерью. Он должен закрепить его юридически, чтобы не зависеть от блажи БЖ. Составить договор, по которому он имеет право забирать девочку скажем каждые вторые выходные и летом на 1-2 недели или месяц (когда будет постарше). А об алиментах у них есть соглашение или всё строится на доброй воле вашего мужа?