Все дело в нюансах. "Договаривались пойти к сестре" - возможно, это Вы так хотели. Он не захотел. Ушел гулять, полагая, что вы с детьми пробудете до вечера. Ладно, ваши планы изменились - вы вернулись, а его дома нет. Звоните, спрашиваете, где? Просите ( а не приказываете!!) посидеть с детьми - в принципе, он может сказать, что не успевает, или его планы поменялись. Что угодно. Вы командуете, но он не собачка. К ноге не побежит. Тут надо либо восстанавливать коммуникацию - учиться договариваться, либо рассчитывать только на себя.