.父虞荔，曾任陈国太子中庶子。虞世基幼沉静，喜愠不形于色，博学有高才，兼善草隶。陈灭之后效劳于大隋，任内史省低级文员，贫无产业，后升任内史舍人。炀帝即位，经礼书监柳顾言推荐，升任内史侍郎，得到炀帝重用，专典机密，与纳言苏威、左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴等参掌朝政，人称五贵。辽东之役，进位金紫光禄大夫。615年跟随炀帝北巡雁门，为突厥所围。世基劝帝重为赏格，亲自抚循，又下诏停辽东之事。帝从之，师乃复振。但是围解之后，炀帝又下伐辽之诏。自此朝野离心。616年，炀帝南巡江都，行至巩县，世基