А зачем нужно,чтобы он к Вам приходил общаться с детьми? Он может их забирать и общаться где-то вне Вашего дома. Если не доверяете отцу дошкольника, наймите няню, которая будет помогать папе на встречах, отвозить детей на них и возвращать домой.