靖四年（1525年）擢礼科给事中。数日后即上书痛陈朝廷弊端，世宗以“无中生有”斥责之。同年，光禄署丞何渊请求扩建宗庙，祭祀世宗生父兴献王，杨言与诸臣抗争，不被採纳。杨言又上书指陈利害，言辞激烈。嘉靖六年（1527年），锦衣百户王邦奇借事诬陷杨廷和、彭泽、费宏等，将兴大狱。杨言再次抗疏，斥责王邦奇“心怀怨望，文饰奸言，诟辱大臣，荧惑圣听”，世宗大怒，将杨言收押，并在午门亲自审问。杨言备受刑讯，折断一指，却毫不屈服。世宗命下五府九卿继续审议。但兴大狱之事也不了了之。杨言被贬为宿州判官。迁溧阳知县，历南京吏部郎中