Определитесь чего Вы хотите. Если оградить полностью значит в милицию, там уж продумайте, скажите, что жили с этим мужчиной, но ребенок не его, что ребенка он ввел в заблуждение, Вы не препятствовали, т.к. надеялись на семью теперь он ушел и Вы за ребенка испугались. Если Вас пугает именно то, что он встречается без Вашего согласия  и ребенок папу помнит, ждет - по-моему проще разрешить встречи и ничего у него не просить. Возможно, если Вы позволите им видется и не будете показывать свою неприязнь ему это быстро надоест.