先后征召他为官，但虞翻都一概拒绝。孙权后来任命他为骑都尉，但虞翻多次不看脸色的直白进谏已令孙权颇为不满；同时他也因爱打小报告而与一些官员亦不睦，多次被毁谤，最终被流放到泾县。
随袭荆州.后来，吕蒙意图袭取荆州，先称病回建业以减低关羽的戒心，在建业时吕蒙以虞翻通医术为由请求随军，令虞翻获释重返。不久，吕蒙发动奇袭，进攻南郡，南郡太守麋芳开城出降。当时吕蒙还没有佔据南郡，而在城外吹奏作乐。虞翻告诉吕蒙：“这里只有糜将军是跟我们一条心，城中的人怎能全部相信，何不快快进城夺得控制后再奏乐庆