Так и отвечайте, что он приходил НЕ к детям, потому что детьми не занимался и с детьми не общался. Потратьте немного денег на камеру и заснимите его посещения (предварительно его уведомив, что камера есть и делается съемка, лучше даже подписать бумагу об этом). Вы будете защищены в этом случае от его сидений перед теликом и перед судом если укажете ему на дверь отказав в таком посещении.