Пока Вы не нарушаете его права (т.е. Не пытаетесь продать/подарить/проиграть в карты и т.д.) этот срок даже не начинает течь, если Вы через 10 лет решите квартиру продать, то с момента как он узнает об этом и начнет исчисляться срок давности, эти самые три года