автор, это ваше обоюдное решение с мужем, так что вы вольны поступать, как велит сердце и разум. Но также не забывайте, что удочерённая девочка  может остаться без бабушки и брата, так как они тоже вольны в своём решении и своих оценках вашего шага удочерения. В общем, у всех своё видение этой ситуации и это абсолютно естественно. Нельзя требовать от самых близких понимания и принятия вашего решения.