Я бы ответила "Нет, сюда заходить не надо" только из-за того, что он хочет общаться с ребенком, пусть берет его и общается на своей или нейтральной стороне. Мне своим присутствием дискомфорт создавать не надо. Я его видеть не хочу, а с ребенком пусть видится, но без меня. Я удобства для общения создавать не собираюсь, но и не против самого общения.