后虞翻又曾辱骂降将麋芳。孙权和张昭讨论神仙之事，虞翻指着张昭，说神仙只是死人，世上并没有甚么仙人。因为以上种种事件，孙权对他大为不满，于是将他流放到交州。
交州忧国.虞翻到交州后，在那里讲学，学生时常也有数百人；又为《老子》、《论语》和《国语》等书籍作注。虞翻虽被流放，但仍然十分关心国家，如在黄武七年（228年），辽东公孙渊派使节向孙权联络。嘉禾元年（232年），孙权派将军周贺和校尉裴潜从海路到辽东向公孙渊求马，虞翻认为辽东路远，派人到那里求马并没有益处，只会损耗人力和财力；虞翻想