Предположу, что в вашем случае ваш дедушка чем-то заменил папу. У меня не было отца (родители развелись в мои 3, 5 года), не было дедушек и бабушек (мама родила меня в 40 лет), и я в каждом встречном искала отца.  И путешествия и поездки заменить эту потребность не могли.   И в муже (ровеснике) я нашла не партнёра, а папу.  Замужем 23 года,  трое детей. Муж детям отличный папа, и я ясно понимаю, почему это слово произносят с придыханием.