Надо было, чтобы при разводе вы заключили между собой договор о разделе имущества , в котором прописали бы, что квартира - только Вам. или разделили бы и он свою долю детям подарил. Или ДО развода составлялся бы брачный контракт, в котором квартира - Вам, хотя этот вариант не стабильный и его можно было оспорить, но вот тогда бы можно было о пропуске срока исковой давности заявлять. А сейчас он прав.