升任礼部尚书，赐宴华盖殿。永乐九年，朝鲜派使者朝贡，例有赐赉，赵羾不奏。朱棣大怒，命其下狱，后得释，出使督建隆庆、保安、永宁等州县，使百姓安家乐业。永乐十五年，丁母艰。之后再起用，改为兵部尚书，专门处理塞外兵事。明仁宗即位后，改为南京刑部尚书。宣德五年，御史张楷弹劾其与侍郎俞士吉怠纵，之后召至，命致仕还乡。