ну через суд, будучи в своих отцовских правах, да, собственно и не будучи в них, он может у вас отсудить право видеться с детьми. по графику определенному. Вам нужно начать собирать пакет документов на лишение род прав. Грамотная консультация юриста вам нужна в этом вопросе. Поверте, можно лишить. Что касается, как быть? увы, я не могу ничего посоветовать. Не дадите добровольно с детьми увидиться, так он вас с ними встретит где-нибудь на улице и тогда травма детям обеспечена и гораздо большая, нежели в ином случае.  Или в школу придет сам у ним. без вашего ведома встретится. Кстати, это можно будет использовать против него в суде.. А вот посоветоваться с психологом очень сочетую. Или пусть муж ваш нинешний поговорит с ним по МУЖСКИ! А лучше брат, отец. Самое главное, ЗАЧЕМ ему они - дети - понадобились по прошествии стольких лет? что он говорит-то?