Если соседи смогут доказать, что строение имело к ним отношение, пусть даже стояло на чужой территории, и было снесено без их ведома, смогут судиться за порчу имущества. Кроме шуток. Так что лучше не сносить, а обращаться в суд и сносить по судебному решению. Суд это не так страшно, как показывают по телевизору.