ИМХО: всё просто -если перевешивает фрустрация, то встречи нужно прекратить, если перевешивают положительные моменты,  то стоит потерпеть фрустрацию. Отношений без фрустрации не бывает,  ребёнок должен этому учиться. Он вполне может сам высказать папе своё недовольство.