Я бы точно не меняла. Моя подруга вышла замуж, муж, казалось бы, с более-менее нормальной фамилией - Носик. Но она его фам. не взяла и сына записала на свою фамилию. Но там и муж не был против такого... У вас вариант посложнее,  если и муж против категорически...