Да, в Вашей ситуации сельисполком вправе изъять земельный участок.
Законодательством предусмотрено, что при разрушении капитального строения (в Вашем случае – жилого дома), в том числе и в результате пожара, право землевладельца на участок сохраняется, если в течение года он приступит к восстановлению разрушенного капитального строения или возведению нового. По обоснованной просьбе срок может быть продлен, но не более чем на один год.
Таким образом, после пожара у Вас было два года (с учетом продления срока) на то, чтобы приступить к возведению нового жилого дома. Под началом строительства жилого дома понимается осуществление строительно-монтажных работ в соответствии с утвержденной проектной документацией, в том числе в отношении нежилых построек на придомовой территории на земельном участке.
Поэтому, в создавшейся ситуации, если Вы все же планируете строить дом, необходимо разработать и согласовать проектную документацию на строительство и приступить к строительству жилого дома или хозпостройки.