А вы его не пускайте в любое время.Скажите, что у вас есть свои планы, и он будет приезжать к детям тогда, когда с вами об  этом договориться.И если он хамло такое - не пускайте его в квартиру, пусть общается с детьми на прогулке.Будет хамить по телефону - кладите трубку в тот же момент и на неделю его в игнор.