姚（今属浙江余姚）的门阀大族会稽虞氏。据近代考证，生于陈文帝天嘉三年，但正史如《隋书》、《北史》本传均未提其生卒年岁。年少时就因家学渊源博通经史。成年后身长八尺，姿貌伟岸，更以博学才俊闻名。又擅长书法，尤其工于草书隶书。先在陈朝为官，任太学博士。隋朝大业初年。奉诏任秘书学士，又奉召与虞世南、庾自直等朝中文臣撰修《长洲玉镜》等书十畲部。其文学所作，隋帝看了后都很赞赏。书成后迁着作佐郎，以文翰待诏。后从隋帝东征辽东高丽，隋帝在海滨见到大海龟觉得很奇异，诏虞绰作铭文。虞绰完成后，隋帝览后称善，命有司勒刻于海岛