易経を研究し、自分の注釈書を都にいる孔融に送った。孔融もまた虞翻の業績を称え手紙を送った。孫権の元に帰還していた張紘も孔融に手紙を送り、虞翻の才能を賞賛した。また、呉郡の陸氏一族であった陸績がまだ年少であったが、虞翻は彼と親しくつきあった。関羽が敗走すると、孫権は虞翻に関羽の命運を占うよう命令した。虞翻は「二日以内に関羽の首が断たれるでしょう」と予言し、その通りになった。孫権は虞翻に「東方朔に比肩する」と称賛した。江陵には、先に関羽に敗れ降伏していた曹操軍の于禁が、捕虜として収監されていた。孫権は于禁を丁重に処遇し、一緒に馬を揃えることを許可した。しかし虞翻は、于禁が忠義にもとる降伏者であることを理由に非難した。後に孫権が于禁を酒宴に招いたとき、音楽を聞き涙を流した于禁の姿を見て、また罵声を浴びせた。孫権はこのことを不快に思ったという。孫権が呉王になったとき、祝いの宴会が開かれた。孫権は自ら酒を勧めて回っていた。その際、虞翻は床に酔い潰れたように見えたため孫権が通り過ぎたところ、その後平然と席に座り直した。この無礼に孫権は大いに怒り手に剣を持ち、かつて曹操が孔融を処刑した例を引き合いに虞翻を脅したが、大臣の劉基が理を尽くして諭した為に遂に虞翻を許した。孫権は虞翻の過ちを自らに帰し、左右の者に対し「今後、酒の後に自分が殺すと命じても、殺してはならないように」と言った。虞翻は于禁と同様、降伏者である糜芳に厳しく当たり、船ですれ違ったときや軍営の前を通りかかったときに、その無定見ぶりに罵声を浴びせた。糜芳は恥じ入るばかりであったという。虞翻は狂直(あまりに率直すぎる性格)で、酒癖の悪さで失態も何度かあった。あるとき、神仙について孫権と張昭が話題にしていたのを小耳に挟み「(死すべき定めの)死人たちが神仙について語っております。(不老不死の)神仙などいるはずがないでしょうに」と告げた。孫権は無礼講といえどもついに決断し、虞翻を追放し交州に左遷した。交州では数百人の門下生を相手に光孝寺(広東省広州市)で学問を教えていた。後に公孫淵との同盟に失敗した孫権は、虞翻のことを思い出し、交州に使者を送り消息を尋ねさせたが、既に虞翻が死去していたため、子達を呼び寄せ採り立ててやったという。その棺は故郷に運ばれて埋葬され、妻や子たちは南方から戻ることができたという。