一、依你所述,肯定是不能换回的。
二、如果真打起官司来,你方是没有证据的。
1、对方现在也承认——这一点十分重要,可以进行录音或者通过其他方式固定证据;
2、但他现在还要换回去——这个要求,在法律上不成立。
3、土地流转,依法受法律保护。但最好是签订书面协议。现在补签不可能了,因此,收集相关证据是重点,如果对方承认互换的事实,且在承包期内不得反悔的,这个约定是有效的。