Справедливости ради, баня и прочее - не собственника. Кстати, ГК содержит норму, по которой "Лицо - гражданин или юридическое лицо, - не являющееся собственником имущества, но добросовестно, открыто и непрерывно владеющее как своим собственным недвижимым имуществом, если иные срок и условия приобретения не предусмотрены настоящей статьей, в течение пятнадцати лет либо иным имуществом в течение пяти лет, приобретает право собственности на это имущество (приобретательная давность). Так что именно этого испугался владелец.