再次围汴京，宋高宗召李纲为尚书右仆射兼中书侍郎，颜岐上奏说应该以金国人的好恶，提拔张邦昌而贬黜李纲。李纲因为颜岐的上书，向高宗力辞相位，高宗于是命颜岐奉祠离职。建炎二年（1128年），再召颜岐担任门下侍郎。建炎三年（1129年）四月，再次罢职，以资政殿大学士提举南京（应天府商丘县）鸿庆宫。