Блин, ну Вы даете. Вы оба самостоятельные самодостаточные люди. Причем здесь родня? Да если бы все были завязаны на родне - да у нас бы семей в России не сохранилось. Дочь вырастет, Вы ей какую причину назовете, почему папа с ней не жил. Бабушка мешала?Живите своей жизнью, растите дочь, наслаждайтесь друг другом ( тем более романов не завели, значит не хотелось).  С мужа взять слово, что его мать больше не узнает о вашей семейной жизни ни одного слова. Хотя думаю муж и сам это понял уже.