Дети и так с ним живут и общаются. Вы и так их с ним оставляете на постоянной основе. В вашем случае нужно прекратить с ним все прогулки и контакты, кроме "строго по детям", касающиеся чисто практических вещей - "во сколько забершь сына", и на этом все. А вы до сих пор эмоционально с ним связаны.Дочь по исполнении 18 лет может от него съехать, жить с ним не обязана.