Меняйте! От отца ему останется отчетство. А фамилия - это уже принадлежнность к роду, к клану. Вашему мужу самому фамилия не нравилась, так чего же цепляться за нее? Если уж что - он сможет вернуть отцовскую, когда захочет. Да и память к человеку не измеряется фамилией... У Вас много причин для смены - меняйте, не сомневайтесь!