или взыскивайте алименты, или лишайте родительских прав (впрочем и после этого алименты можно взыскивать).иначе лет через  несколько он подаст иск о выплате алиментов уже к детями ваше честное "да я и не просила" не будет значить ничего. не взыскивали - значит платил сам. содержал.