Это совершенно не важно, что думает автор, и как она относится к мальчику. Мальчик имеет право приезжать к отцу, тем более, отец не против. И на "нейтральной территории" встречаться они не обязаны. Если хотят, могут в встречаться там, где муж живёт. И пусть автор хоть ядом зальется.