А почему вы не хотите откровенно с ним поговорить?. Закатите истерику, он и сам с вами не поедет. И почему бы вам дома не остаться, дети уже большие, это их отец, вы сами допустили что бы он им стал чужим, пусть едут и налаживают отношения между собой.