тут проблема не в том, что бывший что то там выдумывает и пытается достать. Проблема в том, что родня ваша это хавает и готова на его сторону встать. И ради того, чтоб узнать, с кем их дочка кувыркалась  готовы пожертвовать покоем этой дочери и внука. Не все ли равно уже, 4 года прошло? Ваша позиция должна быть четкой и жесткой - доказывать ничего никому не собираетесь и разговоры на эту тему не поддерживаете. И донести до родни, что нормальным и любящим  все равно от кого ребенок, он уже ваш. Нормальные родители давно бы уже ответили такому мужику, - ну и славьте, что не от тебя ребенок, такой папаша нашему внуку вряд пригодится.