Мне кажется, что нехорошо так сделать. Понятно, что вас достало, и сильно, но вы приехали вместе и с ним его ребенок. Сами говорите, что ребенок хороший и не вредный. Перетерпите. Скажите что хотите прервать отпуск и уехать прямо сегодня. Если они хотят остаться, пусть остаются. Но втихаря не стоит. А по приезду рвите сами отношения, которые Вас не устраивают. Если до мужчины не доходит что он не отец вашего ребенка и воспитывать его не должен. Пусть своим занимается.