Ну, так Вам остается с ним только разъехаться, а потом уж и определить минимальный порядок общения с детьми, по суду. За доказанное не должное исполнение родительских обязанностей, на основании которого ему отказали в проживании с ним детей, так просто родительских прав не лишить (Ваш основной вопрос: можно ли сделать так, чтобы не знал, не видел, не имел доступа).