Ну тут речь не идет о том, разрешить или нет. Это его право - навещать ребенка, и право ребенка - видеться с отцом.Если Вам не хочется его видеть  - уходите в это время или отдавайте ребенка ему.А потом Вы же заранее не знаете, может он будет и чаще навещать, или наоборот вообще прекратит, а на нет и суда нет.