经常耿耿于怀，向诸葛亮抱怨官位太低，甚至刘备去世后在刘备棺材旁斩杀犯人。有一次他向丞相掾李邵和蒋琬抱怨先帝刘备用兵失当，每每劳动兵众而无收获；又指关羽只有勇名而无军纪，致令荆州被夺；且称当朝大臣向朗、文恭、郭攸之都是平凡的人，根本不能担任重任；并批评王连聚歛钱财，令百姓受害。李邵及蒋琬听后将廖立的话告诉诸葛亮，诸葛亮于是上表廖立「诽谤先帝，疪毁群臣」，废他为庶民，流放汶山郡，与妻子和子女在汶山耕种，自给自足。诸葛亮逝世后，廖立垂泪叹道：「吾终为左衽矣！」表示不能回归仕途的绝望。247年，姜维前往汶山郡平