Да какая разница, что там для него будет ударом? Когда ему было не до вас, он не думал о ваших чувствах, как не думал и о дочери. Прижмет - снова забудет. Это не только вашего мужа касается, такова в принципе психология мужчины-ребенка. Этим, кстати, могут объясняться и ваше нежелание секса (как инцест для вас), и материнское к нему отношение (как мой малыш без меня). Это опять-таки версия. Но если вы планируете жить вместе и впредь, то версии нужно рассматривать и отрабатывать. Например, когда вы перестанете относиться к нему, как к ребенку, он вынужден будет "подрасти". И ваши отношения изменятся в нужную сторону.