У бабушки нет никаких прав на ребенка. Она может требовать лишь право видеться с внучкой, но порядок этих встреч все равно определяют родители исходя из интересов ребенка. Так что все вопросы к мужу. Если маме девочка не нужна, то у мужа все права на дочь. И у вас как у его доверенного лица.