在隋末唐初的政坛文坛上，虞世基、虞世南兄弟二人领尽风骚。虞世基在大业年间炙手可热，权倾朝野；虞世南在武德、贞观年间号令文坛，四方钦服。唐太宗赞扬虞世南有五绝：一曰德行，二曰忠直，三曰博学，四曰文辞，五曰书翰。
虞氏兄弟是越州余姚人，他们的祖父和父亲分别在梁代和陈代为官，享有盛名。他们的叔父在陈代任中书侍郎，膝下无子，便把虞世南过继给他，所以虞世南字伯施。虞家兄弟小时候拜著名学者顾野王为师，学习经术文史。兄弟二人都聪明，但虞世南性格更内向些，沉静寡欲，笃志勤学，十余年间，精思不倦。
虞氏兄弟文章都写得好，在当时也有一定影响。南朝文学以诗和骈文为主，风格华丽轻巧，内容多是应酬与色情之类的，以梁简文帝萧纲和徐、徐陵父子、庾肩吾、庾信父子等为代表。尤其是徐陵，在陈任尚书仆射，官名和文名加在一块儿，巍巍乎高不可攀。但虞世南还是攀上去了：“常祖述徐陵，陵亦自言世南得己之意。”
虞世南同时又是一位书法家。史载：与他同郡的和尚智永是一位大书法家，学习王羲之，王献之的书法，曲尽其妙。虞世南拜智永为师，也得其真传。虞世南的字姿荣五绝虞世南秀出，内含刚柔，代表作有《孔子庙堂碑》等。虞世南的书法成就也为他带来了重大的现实声誉和深远的历史声誉。
陈天嘉年间，虞氏兄弟的父亲虞荔病亡，当时虞世南尚幼，不胜悲哀。陈文帝听说虞家兄弟博学多才，时常派人去他们家关照一二。服孝期满后，二人被授予官职，虞世南作的是建安王法曹参军。虞世南的养父虞寄滞留闽、越，陷于割据闽越的陈宝应而不能归陈，虞世南着布衣，不食肉，以示担忧。后来陈宝应兵败，虞寄回来了，虞世南这才过上了正常的生活。
陈朝灭亡后，虞氏兄弟来到长安，本是以亡国奴的身份来的，却受到了隆重热烈的欢迎，人们把他俩比作西晋的陆机、陆云兄弟。当时杨广还是晋王，听说虞家兄弟之名，和秦王杨俊写信召他们，虞世南以母亲年老为由推辞，但杨广还是派人把他弄到晋王府。
杨广登基后，虞氏兄弟开始受到重用，虞世基任内史侍郎，虞世南历任秘书郎、起居舍人，都是皇帝身边的近臣。隋炀帝杨广对虞世基十分信任，言听计从，虞世基因而独专大权，红得发紫；虞世南也有条件红起来的，但他却坚持勤苦朴素，保持本色。兄弟俩同是父母所生，一个老师教的，同在一殿为臣，又住在一起，走的却是完全不同的两条路，最终的结果也是迥然不同。
虞世基几乎把所用的才能都用来欺上瞒下，谋权求利。也就是遇上隋炀帝这样的一个混蛋，他才得以逞其奸谋。隋炀帝是个变态的狂人，存心要和天地间一切打打别扭，他自己的内心也是严重扭曲的。他巡游纵乐，花天酒地，一点也不在乎银子和民力，却对名位这玩意儿十分吝惜，“群臣当进职者，多令兼假而已，虽有阙员，留而不补”。这就给主管人事的吏部带来了很大的麻烦。当时，吏部尚书是牛弘，他是个博学多才的人，也比较正直，但仍然不能做到尽职尽责，因为隋炀帝不许他尽职尽责。史载：“时牛弘为吏部尚书，不得专行其职，别敕纳言苏威、左翊卫大将军宇文述、左骁卫大将军张瑾、内史侍郎虞世基、御史大夫裴蕴、黄门侍郎裴矩参掌选事，时人谓之‘选曹七贵’。虽七人同在坐，然与夺之笔，虞世基独专之，受纳贿赂，多者超越等伦，无者注色而已。”
虞世基这样选拔官吏，隋朝的吏治情况便急转直下。隋文帝杨坚曾以自身节俭的榜样和严厉的诛杀惩治相结合，使吏治为之一清；虞世基受贿卖官又毁了这一大好局面。虞世基倒是发了财，“妻子被服于王室。”
虞世基、裴蕴、裴矩之流通过谄媚阿谀隋炀帝而得宠，又隔绝下言，让隋炀帝始终处在盲目自大的狂热状态中。隋炀帝也能写几句文章，和虞世基还有一层文友关系，知心的话儿倒不少。隋炀帝曾对虞世基说：“我性不喜人谏，若位望通显而谏以求名者，弥不可耐。至于卑贱之士，虽少宽假，然卒不置之地上。汝其知之！”虞世基自然心领神会，以后就报喜不报忧，专拣好听的说。
由于隋炀帝横征暴敛、穷兵黩武，加之水旱灾害，山东河北一带爆发了农民起义。大业七年，王薄在山东长白山首先举义。之后，孙安祖、张金称、高士达也纷纷起义。各起义军占山阻河，保据深险，每支都发展到数万至十几万人。大业九年，杨玄感兵变，引发了更多的农民起义军。大业十二年前后，中原大地形成了李密、窦建德和杜伏威三个强大的军事集团，李密占据河南，窦建德横扫河北，杜伏威转战淮南，逼近江都。但耽于淫乐，又被权臣蒙蔽的隋炀帝对此并不知情，还以为是小股贼盗作乱。大业十二年，“帝问侍臣盗贼，左翊卫大将军宇文述曰：‘渐少’。帝曰：‘比从来少几何？’对曰：‘不能什一’。纳言苏威引身隐柱，帝呼前问之，对曰：‘臣非所司，不委多少，但患渐近。’帝曰：‘何谓也？’威曰：‘他日贼据长白山，今近在汜水。且往日租赋丁役，今皆何在！岂非其人皆化为盗乎！比见奏贼皆不以实，遂使失于支计，不时剪除。又昔在雁门，许罢征辽，今复征发，贼何由息！’帝不悦而罢。”苏威作为一个天良未丧的人，在一堆昏君佞臣之间，本想缄默自保也做不到，只好实话实说，得罪了隋炀帝和佞臣们，被他们借事找碴，铸成冤狱，还差点儿杀了头。
虞世基也是奸佞群臣中主要的一员。隋军诸将和郡县写来的求救信和不利战报，他都做了改动，不把实情报上去，还给隋炀帝说：“鼠窃狗盗，郡县捕逐，行当殄灭，愿陛下勿以为怀！”隋炀帝也认为事情就是如此，是送信的使者胡说八道，打一顿棍子赶了出去。
隋军丧师失地，郡县失守，隋炀帝都不知道。隋将杨义臣击败起义军一部，十多万人投降，写表告捷，隋炀帝才说：“我初不闻，贼顿如此，义臣降贼何多也！”虞世基一看要露马脚，马上接过话头说：“小窃虽多，未足为虑，义臣克之，拥兵不少，久在外，此最非宜。”反而将杨义臣倒打一钉耙。昏的隋炀帝居然认为虞世基说的有理，立即下令召回杨义臣，遣散其兵，河北起义军由此复盛。
虞世基短短数言便饰己之非还捎带着害人，为非作歹的水平相当高。史载：“世基容貌审沉，言多合意，特为帝所亲爱，朝臣无与为比；亲党凭之，鬻官卖狱，贿赂公行，其门如市。由是朝野共疾怨之。”封德彝也依托虞世基，出了不少坏主意。群臣上表有不符合隋炀帝心愿的，都压下不报；判狱的时候，一个劲儿地往重的整；对下论功行赏时，则想方设法地削弱减少。尤其是对实话一律封杀，有说实话的一律设计陷害。大业十三年即义宁元年，李密占据兴洛仓、回洛仓，猛攻洛阳，东都危在旦夕。越王杨侗派太常丞元善达化装间行，穿过瓦岗军防区，跑到江都报告说：“李密有众百万，围逼东都，据洛口仓，城内无食。若陛下速还，乌合必散；不然者，东都决没。”说完就泣不成声。隋炀帝也被感动了。这时虞世基站出来说：“越王年少，此辈诳之。若如所言，善达何缘来至！”于是，隋炀帝勃然大怒：“善达小人，敢廷辱我！”便让元善达又一次穿过起义军占领的地区，向东阳催运粮草。元善达这一次再也不能“善达”了，被起义军捉住杀了。
在这之后，隋朝的统治更加不稳，隋炀帝也感到了末日将临，更加纵酒享乐，好像是要抓住最后的机会过把瘾。他还想迁都丹阳，保据江东，放弃中原。虞世基等人赞成，但右侯卫大将军李才力主打回长安。最后还是虞世基的意见占了上风，隋炀帝已派人整修丹阳宫去了，准备迁徙。
这时江都粮尽，隋炀帝的御林军多是关中人，看见隋炀帝无意西归，纷纷逃散。虎贲郎将司马德戡是关中扶风人，隋炀帝让他率领号称“骁果”的御林军驻守东城。司马德戡和元礼、裴虔通商议说：“今骁果人人欲亡，我欲言之，恐先事受诛；不言，于事后发，亦不免族灭，奈何？又闻关内沦没，李孝常以华阴叛，上囚其二弟，欲杀之。我辈家属皆在西，能无此虑乎？”于是决定和骁果们一起逃亡。他们还联络了一大批官员和将领，准备来个集体大逃亡。
这事给宇文智及知道了，他对司马德戡说：“主上虽无道，威令尚行，卿等亡去，正如窦贤取死耳。今天实丧隋，英雄并起，同心叛者已数万人，因行大事，此帝王之业也。”于是相约兵变，推宇文智及之兄、右屯卫将军宇文化及为主。
司马德戡派人在骁果中传言，说隋炀帝要毒死关中骁果，只留下南方人；骁果皆惧，反心更切。兵变策划者又提前掌握各个环节，宫门不下键，街巷布兵，又把隋炀帝的贴身卫兵都派了出去，同时封锁周围，不许出入。司马德戡领兵从玄武门杀入，隋炀帝易服逃到西阁，被令狐行达等人抓住。隋炀帝对裴虔通说：“卿非我故人乎！何恨而反？”裴虔通回答说：“臣不敢反，但将士思归，欲奉陛下还京师耳。”隋炀帝倒乖巧，随口就说：“朕方欲归，正为上江米船未至，今与汝归耳！”
裴虔通让隋炀帝出去见百官，牵来马逼他骑乘，隋炀帝嫌马鞍破旧，非要换一付新马鞍才肯骑。隋炀帝出去的第一句话是：“世基何在？”兵变者马文举大声说：“已枭首矣！”隋炀帝这才知道大事不好，死到临头了。实际上他对死是有准备的，经常带一瓶毒药，对所宠幸的妃子说：“若贼至，汝曹当先饮之，然后我饮。”没想到，真的出事了，左右都一逃而散，想找毒药都找不见了。
司马德戡等人把隋炀帝押回寝殿。隋炀帝叹息道：“我何罪至此？”马文举说：“陛下违弃宗庙，巡游不息，外勤征讨，内极奢淫，使丁壮尽于矢刃，女弱填于沟，四民丧业，盗贼蜂起；专任佞谀，饰非拒谏；何谓无罪！”隋炀帝狡辩说：“我实负百姓；至于尔辈，荣禄兼极，何乃如是！今日之事，孰为首耶？”司马德戡说：“溥天同怨，何止一人！”裴虔通当着隋炀帝的面杀了炀帝幼子越王杨果，下一个就该轮到隋炀帝了。这个独夫民贼倒不怕，还摆了个大架子：“天子死自有法，何得加以锋刃！取鸩酒来！”马文举不许，隋炀帝便解下练巾交给令狐行达，令狐行达勒死了这个罪恶滔天的暴君。
倒行逆施的杨广罪有应得，助纣为虐的虞世基被杀也理所当然。虞世基被杀时，虞世南抱着其兄放声大哭，又请求宇文化及允许他替兄一死，但宇文化及不允许。虞世基死后，虞世南悲哀伤痛，形销骨立，时人称赞他能尽孝悌之道。
宇文化及杀虞世基而不株连虞世南，恐怕是不看出身，重在政治表现。虞世南安分守己，勤恳本份，没有参与作恶，与虞世基虽是至亲兄弟，走的却是两条路。公道自在人心，宇文化及和其他人自然没有理由牵扯虞世南。
宇文化及随后自称大丞相，总揽大权，立秦王杨浩为帝，留大将陈守江都，然后率群臣和大军从水路西归。宇文化及拥兵十余万，据有六宫，像隋炀帝一样地享受。军至彭城，水路不通，宇文化及派人夺民间牛车两千辆，载着宫女珍宝，兵器甲戈却让士兵扛着，路远人疲，怨声四起。司马德戡发现宇文化及不是成事的主儿，就和赵行枢等人密谋废除之，结果消息走露，反被宇文化及所杀。
经此内耗，宇文化及部下离心离德，虽有精兵十万，却是外强中干。但这只纸老虎却很吓人，据守洛阳的越王杨侗害怕了，立即采用元文都的建议，用官爵笼络李密东扼宇文化及。从李密自身的利益来说，他也必须面对这个难题；既要东出击败宇文化及，又不让东都兵马从背后攻击，他缺乏两路同战或围一打一的胆略与才能，所以只能采取下策，先投靠杨侗旗下，击败宇文化及后再作打算。
宇文化及在瓦岗军面前吃了败仗，转进东郡，东郡通守王轨降了宇文化及。宇文化及又去攻击徐世所守的黎阳，李密与徐世互为犄角，杀败宇文化及。宇文化及逃奔魏县，部下逃亡离散，宇文化及，宇文智及兄弟无计可施，每日里借酒浇愁，互相埋怨。最后，宇文化及杀了杨浩自立为帝，不久即被窦建德打败。窦建德为隋炀帝举哀，杀了宇文化及等，任用隋朝旧臣，建立统治制度。虞世南被任命为黄门侍郎。
李世民在武牢活捉窦建德，把虞世南也罗致府中，引为秦府参军，随后转为记室，与房玄龄共掌文翰。在重儒喜文的李世民的部下，虞世南的才能得到了充分的发挥。李世民曾让他把《列女传》写下来装屏风用，当时手边没有书，虞世南凭着记忆默写出来，竟一字不差。
李世民即位后，虞世南任著作郎，兼弘文馆学士。当时虞世南已年届古稀，垂垂老矣。他上表要求退休，唐太宗舍不得让这位良臣和文友离开，就没有批准。太宗想让虞世南担任太子右庶子一职，虞世南固辞不就，太宗便让他作了秘书少监。虞世南对唐太宗发自内心地敬佩，写了一篇《圣德论》称赞太宗，太宗手诏答道：“卿论太高。朕何敢拟上古，但比近世差胜耳。然卿适睹其始，未知其终。若朕能慎终若始，则此论可传；如或不然，恐徒使后世笑卿也！”
唐太宗很器重博学多识的虞世南，经常在政务之余和虞世南共观经史，谈论古今治乱之理。诗兴来了，两人也互相唱和，探讨诗文。虞世南长了一副标准的书生相，清瘦柔弱，好像是弱不禁风的样子，但秉性正直刚烈，敢于进谏，敢于坚持真理。说到古今历代帝王为政的得失，他都要联系实际规谏太宗；他也是个忠诚勤谨、严于律己的人。唐太宗曾对群臣说：“朕因暇日与虞世南商略古今，有一言之失，未尝不怅恨，其恳诚若此，朕用嘉焉。群臣皆若世南，天下何忧不理。”
古代帝王信天命，一见到自然灾害和不能解释的现象，就认为是上天的警告，急忙找原因，想法消除，以求得上天的原谅。英明的唐太宗也不能超越这一局限，见到此类情况，往往求教于博学的虞世南。虞世南也就借事据史，阐发一些勤政爱民的道理，提出一些有利于稳固统治的建议。贞观八年，陇右山崩，大蛇屡现，山东和江淮又发了几次大水。唐太宗问虞世南这是什么原因，虞世南说：“春秋时梁山崩，晋侯召伯宗而问焉，对曰：‘国主山川，故山川崩竭，君为之不举，降服，乘缦，撤乐，出次，祝弊以礼焉。’梁山，晋所主也，晋侯从之，故得无害。汉文帝元年，齐、楚地二十九山同日崩，水大出，令郡国无来贡献，施惠于天下，远近欢洽，亦不为灾。后汉灵帝时，青蛇见御座。晋惠帝时，大蛇长三百步，见齐地，经市入朝。案蛇宜在草野，而入市朝，所以可为怪耳。今蛇见山泽，盖深山大泽必有龙蛇，亦不足怪也。又山东足雨，虽则其常，然阴淫过久，恐有冤狱，宜省系囚，庶几或当天意。且妖不胜德，唯修德可以销变。”唐太宗依言行事，派人到灾区慰问并发放救济物资，派人申理狱讼，适当减轻了刑罚，对一些罪行不大的人进行了宽大处理。
后来星相又出现了异常，唐太宗问群臣：“天见彗星，是何妖也？”虞世南回答说：“昔齐景公时有彗星见，公问晏婴，对曰：‘穿池沼畏不深，起台榭畏不高，行刑罚畏不重，是以天见彗星为公诫耳。’景公惧而修德，后十六日而星没。臣闻：‘天时不如地利，地利不如人和’，若德义不修，虽获麟凤，终是无补，但政事无阙，虽有灾星，何损于时。然愿陛下勿以功高古人而自矜伐，勿以太平渐久而自骄怠，慎终如始，彗星虽见，未足为忧。”唐太宗闻言，郑重其事地说：“吾之抚国，良无景公之过。但吾才弱冠举义兵，年二十四平天下，未三十而居大位，自谓三代以降，拨乱之主，莫臻于此。重以薛举之骁雄，宋金刚之鸷猛，窦建德跨河北，王世充据洛阳，当此之时，足为劲敌，皆为我所擒。及逢家难，复决意安社稷，遂登九五，降服北夷，吾颇有自矜之意，以轻天下之士，此吾之罪也。上天见变，良为是乎？秦始皇平六国，隋炀帝富四海，既骄且逸，一朝而败，吾亦何得自骄也。言念于此，不觉惕焉震惧。”
贞观九年，唐高祖李渊病逝。李渊遗诏要求薄葬，务从节俭。但唐太宗却认为他父亲打天下不容易，应该厚葬，陵墓的规模要赶上汉高祖刘邦的长陵。他下诏要求务从隆厚，并且期限短，用工多，很难完成。虞世南上书进谏：臣闻古之圣帝明王所以薄葬者，非不欲崇高光显，珍宝具物，以厚其亲。然审而言之，高坟厚垅，珍物毕备，此适所以为亲之累，非曰孝也。是以深思远虑，安于菲薄，以为长久万代之计，割其常情而定耳。昔汉成帝造延、昌二陵，制度甚厚，功费甚多。谏议大夫刘向上书，其言深切，皆合事理。其略曰：孝文居霸陵，凄怆悲怀，顾谓群臣曰：“嗟乎！以北山石为椁，用絮陈漆其间，岂可动哉？’张释之进曰：‘使其中有可欲者，虽锢南山犹有隙；使其中无可欲，虽无石椁，又何戚焉！’夫死者无终极，而国家有废兴，释之所言，为无穷计也。孝文寤焉，遂以薄葬。”又汉氏之法，人君在位，三分天下贡赋，以一分入山陵。武帝历年长久，比葬，陵中不复容物。霍光暗于大礼，奢侈过度。其后更始之败，赤眉贼入长安，破武陵取物，犹不能尽。无故聚敛百姓，为盗之用，甚无谓也。魏文帝于首阳东为寿陵，作终制，其略曰：“昔尧葬寿陵，因山为体，无封树，无立寝殿园邑，为棺椁足以藏骨，为衣衾足以朽肉。吾营此不食之地，欲使易代之后，不知其处，无藏金银铜铁，一以瓦器。自古及今，未有不亡之国，无有不发之墓，至乃烧取玉匣金缕，骸骨并尽，乃不重痛哉！若违诏妄有变改，吾为戮尸于地下，死而重死，不忠不孝，使魂而有知，将不福汝。以为永制，藏之宗庙。”魏文帝此制，可谓达于事矣。
向使陛下德止如秦、汉之君，臣则缄口而已，不敢有言。伏见圣德高远，尧舜犹所不逮，而俯与秦、汉之君同为奢泰，舍尧、舜、殷、周之节俭，此臣所以尤戚也。今为丘垅如此，其内虽不藏珍宝，亦无益也。万代之后，但见高坟大墓，岂谓无金玉耶？臣之愚计，以为汉文帝霸陵，既因山势，虽不起坟，自然高显。今之所卜，地势既平，不可不起，宜依《白虎通》所陈周制，为三仞之坟，其方中制度，事事减少。事竟之日，刻石于陵侧，明丘封大小高下之式。明器所须，皆以瓦木，合于礼文，不得用金银铜铁。使万代子孙，并皆尊奉，一通藏之宗庙，岂不美乎！且臣下除服用36日，已依霸陵，今为坟垅，又以长陵为法，恐非所宜。伏愿深览古今，为长久之虑。臣之赤心，唯愿万岁之后，神道常安，陛下孝名，扬于无穷耳。
虞世南这篇谏书引经据典，步步紧逼，中心意思就是要唐太宗遵从高祖遗诏，一切节俭。谏书送上去后没见反应。看来虞世南是下了决心要帮唐太宗省点钱，替老百姓省点力，他又一次上疏：“汉家即位之初，便营陵墓，近者10余岁，远者50年，方始成就。今以数月之间而造数十年之事，其于人力，亦已劳矣。又汉家大郡50万户，即目人众未及往时，而功役与之一等，此臣所以致疑也。”其他大臣也奏请唐太宗遵从遗诏，务从节俭。最后，唐太宗把虞世南的疏转交给房玄龄等，让他们商量出一个可行的方案来。房玄龄等人商议了一个折衷的方案，认为“汉长陵高九丈，原陵高六丈，今九丈则太崇，三仞则太卑，请依原陵之制。”唐太宗接受了这一方案。
唐太宗和他父亲一样爱好打猎，虞世南对此也有规谏。不过，他的规谏和褚亮谏唐高祖一样，词藻典故一大堆，最后落在四个字上：“注意安全”。
贞观十二年，虞世南又一次提出退休请求。这一回唐太宗再也不能拒绝了，因为虞世南此时已81岁。唐太宗授给他银青光禄大夫和弘文馆学士的官号，待遇和退休前一样。虞世南随后病逝，唐太宗为之举哀，哭之甚恸。
虞世南死后被追赠为礼部尚书，谥号“文懿”，陪葬昭陵。唐太宗失去了一位而正过失的直臣、能交流思想的文友，其伤痛惋惜之情可想而知。他曾写手敕给魏王李泰，其中高度评价虞世南：“虞世南于我，犹一体也。拾遗补阙，无日暂忘，实当代名臣，人伦准的。吾有小失，必犯颜而谏之。今其云亡，石渠、东观之中，无复人矣，痛惜岂可言耶！”不久，他写了一首诗，追述历史上的兴亡之道，写完后却叹息道：“钟子期死，伯牙不复鼓琴。朕之此诗，将何以示？”说完便让褚遂良把诗拿到虞世南的灵前焚化，希望虞世南在冥冥之中能感知到。唐太宗还很伤感地对魏徵说：“虞世南死后，无人可以论书。”
唐太宗长时间地陷入这种“知音难觅”的遗憾中，不时地想起了虞世南，以致于数年之后他还梦见了虞世南，其音容笑貌一如生前。第二天，唐太宗下制书：“礼部尚书、永兴文懿公虞世南，德行淳备，文为辞宗，夙夜尽心，志在忠益。奄从物化，倏移岁序。昨因夜梦，忽睹其人，兼进谠言，有如平生之日。追怀遗美，良增悲叹。宜资冥助，申朕思旧之情，可于其家为设五百僧斋，并为造天尊像一区。”
贞观十七年，唐太宗下令画《凌烟阁二十四功臣图》，虞世南也在其中，这是唐太宗对虞世南德才的又一次高度评价。虞世南在漫长的一生中，历仕陈、隋、窦建德和唐，其才德始终是最好的，却只有在唐太宗李世民的领导下才充分发挥出来，体现出来，其他的时候他只能做到独善其身。虞世南为群星璀璨的贞观时代增光添彩，他也是得益于充满活力的贞观时代才更加光芒四射，名垂史册。
