Ну а почему бы не рассказать ? И почему Вы боялись сделать  это раньше ? Нет...не так ,-почему у Вас с мамой не было доверительных отношений ? Это же  наложило на вашу жизнь определенный отпечаток, вы с этими воспоминаниями жили и выросли, но так и не решились рассказать маме , самому близкому им родному человеку. Она бы не поверила ? не поняла ? Почему ?!Так расскажите сейчас! И вместе решите,но скорее всего, не надо вам и детям такого "дедушку" поблизости.