Ну вы готовы перешагнуть через детей? Бога ради. Я бы не стала этого делать ради них самих. И плевать, что там  он себе думает. Я бы гуляла бы с детьми отдельно от него, столик выбрала бы отдельный. Только и всего. Какие проблемы то? Или это проблема Хорошо, нельзя  сидеть за разными столиками, но и показывать , что мы пара тоже не обязана. Можно общаться и за одним столом делая вид, что этого человека нет. Пусть чувствует себя вычеркнутым.