Я не совсем понимаю, зачем Вы вступаете с ним в диалоги? Что будет, если Вы перестанете отчитываться и оправдываться?Составьте чёткий график общения с детьми. Если в "его" день отец не является вовремя - вступает в силу план Б. Дети остаются с Вами или под присмотром знакомых/родственников/