地主さんによっては、借地権の消滅（建物が無いため）を主張してくる可能性もあります。
地主さんに一言伝え、出来るのであれば書面で残しておいたほうが後々のトラブル回避にはなります。