Если такое условие не было указано в договоре, то вернуть квартиру не получится. Вы сможете претендовать на долю, как наследник первой очереди, вместе с его женой и падчерицей.