转任富春县长，此时孙策却被许贡门客行刺而死，各县官员都打算去奔丧，但虞翻认为江东未定，如果官员离开可能会令贼匪和变民有机可乘，侵扰州县，于是留守在富春服丧；其他各县官员都效法，维持了江东各县的安定，使孙暠后来未能攻取会稽自立。后来虞翻获举茂才，东汉朝廷和曹操先后征召他为官，但虞翻都一概拒绝。孙权后来任命他为骑都尉，但虞翻多次不看脸色的直白进谏已令孙权颇为不满；同时他也因爱打小报告而与一些官员亦不睦，多次被毁谤，最终被流放到泾县。
随袭荆州.后来，吕蒙意图袭取荆州，先称病回建业以减低