изначально непонятно какая была договоренность по поводу квартиры и сколько там комнат. Вы отдали квартиру семье сына или выделили им 1 комнату, а в другую время от времени приезжаете и она только ваша? Складывается ощущение, что вы отдали сыну квартиру, а потом вдруг решили приехать, тем более без звонка - это некрасиво и неправильно.