魏征再再迁升，更引起一些人的嫉妒和不满。前任尚书右丞时，有人告他偏私，查无实据，不了了之；后充秘书监，又有人告他谋反，幸世民明察，不但没有追究魏征，还根据反坐律，“诸诬告谋反及大逆者，斩”把诬告的人给杀了。如果说前两次控告都出自一般无名之辈的话，而接下来的则是监察官员和权贵出马。贞观五年（公元631年）治书侍御史权万纪、侍御史李仁发都因告密攻击陷害别人，多次受到世民召见，于是就任意指斥他人，肆无忌惮地欺骗蒙蔽，使世民震怒，大臣均不自安，明知这样不对，但没有人敢于出来争辩。现在，权万纪又把矛头指向魏征，魏征便毫不犹豫地挺身而出予以反击。魏征启奏说：“权万纪、李仁发都是小人，不识大体，以诬陷中伤别人为正确，以告发攻击他人为正直，凡是被他们指责的，都没有罪过。陛下您掩饰这两人的问题，接受他们的所有的坏话，他们就放肆地施行奸计，巴结皇上，欺压臣下，做事大多不合礼法，以此来盗取刚强正直的美名。他们诬陷房玄龄，斥退张亮，完全没有整肃勉励的作用，白白地损害了陛下的圣明。走在路上的人，都公开指责。我猜想陛下的心意，一定不是认为这两人是深谋远虑，能够委以重任，只打算用他们无所顾忌的行为来警戒勉励群臣。如果您一定要信任亲近这些不正派的人，也不可以用小臣来图谋大臣，群臣向来没有矫诈虚假的行为，这样做只会徒然使臣下离心。像以房玄龄、张亮等这样的大臣来说，尚且不能申辩自己的曲直，其余那些疏远、位卑的臣子，谁能避免他们的欺蒙诬告？希望陛下您注意这种情况并再三思考。自从任用这两人以来，他们做了一件有利于国家的事，我就心甘情愿被杀头，接受不忠的罪名。陛下您即使没能选拔到好人来弘扬圣德，难道可以重用奸邪来让自己德行遭到损害吗？”这一长篇坚定忠诚的表白，世民十分欣赏，愉快地接受了魏征的意见，赐魏征500匹绢。那权万纪又渐渐暴露了奸诈面目，被贬到连州当司马，李仁发也被解除官职，朝廷众臣都互相庆贺。
贞观七年（公元633年）3月，王珪因泄漏了在宫中所说的话，被贬为同州（治冯翊，今陕西大荔县）刺史，魏征接替王珪正式出任侍中，此后一直到贞观十年（公元636年）6月因病请辞，门下省就由魏征一人全面负责。
李唐初建，忙于征战，基本采用隋礼，少有变易。世民即位不久，遂于贞观三年（公元629年）命中书令兼礼部尚书房玄龄、秘书监魏征组织人员修定“五礼”，这项工程启动稍先于修“五代史”，经过四年多的努力，到贞观七年（公元633年）初稿完成，即下令通告全国遵照执行，世民在诏书中特别强调指出：“可以安上治民，可以移风易俗，揖让而天下治者，其唯礼乐乎！”不过，由于初次修定，而且时间紧迫，难免不甚完备，于是又令左仆射房玄龄、侍中魏征、礼部尚部王珪（珪于贞观八年由同州刺史迁任此职）主持继续修订，并邀着名学者颜师古、孔颖达、令狐德棻、李百药等参加，使之完善。
魏征在修定“五礼”的同时，又主持编纂了《自古诸侯王善恶录》一书。贞观七年（公元633年）世民对魏征说：“自古以来侯、王能自我保全的很少，都是因为他们生长在富贵的环境之中，喜欢骄奢淫逸，多不懂得亲近君子、疏远小人的道理，所以如此。我想让所有的子弟知道前代帝王子弟的言行，希望他们用来作为行为的标准。”遵照世民指示，魏征采录自古以来帝王子弟成败的事迹，上起黄帝，下止于隋，编成是书。
魏征尽忠职守，一心事君，使世民越来越倚重，感到一时也离不得他。贞观八年（公元634年）正月，世民打算派黜陟大使去各道考察民情风俗并对地方官员的政绩进行考核。人员基本都定了，只是关内道还没找到适当人选，世民问左仆射房玄龄等说：“这一道的任务最重，谁可充任使臣？”右仆射李靖说：“关内道事关重大。非魏征不可。”世民脸色一下就变了，他说：“我准备去九成宫，”这事也不小，怎么可以把魏征派走呢！我每次出行，不想和他分开的原因，正是因他见到我有什么不对，一定会不隐讳。如果听从你们的意见把他派走了，我若有过失，你们能制止吗？”于是世民让李靖充任黜陟大使，而命魏征和他一起去九成宫。
长年劳累，超负荷运转，严重损害了魏征的健康。祖上曾有过的高血压的各种症状在魏征身上迅速反映出来，最突出的是视力模糊，使他难于正常履行职责。贞观十年（公元636年）6月，魏征要求辞去职务，世民说：“黄金当它还是矿石的时候有什么值得珍贵的呢？全靠高明的工匠冶炼之后将它做成器具，人们才把它当成宝物。我现在把自己比作金矿，而将你比作高明的工匠。你虽然有病，还没到衰老的程度，怎么能就这样告退呢？”然而，此时此刻的魏征确实病了，他常感到力不从心，早在一年前的贞观9年（公元635年）就打算请辞，但恰逢世民的父亲、太上皇李渊病逝，不管世民在内心深处对他父亲的真实感情怎样，他都必须不胜悲痛，才得稍补杀害兄弟、逼父让位的内疚之情，同时掩人耳目。所以世民在父亲去世后，即将国家大事完全交太子承乾处理，自己则一心守丧以示伤痛；后经群臣多次请求，才勉强答应主持政务，一般事务仍由太子决断。在这样的情况下，魏征怎么好提出辞职呢？贞观十年（公元636年）正月，世民开始主政，而魏征的健康也每况愈下，于是便在6月请辞，开始世民不同意，经多次请求，不得已才答应免去侍中，任为特进。特进是正二品文散官，散官一般没有具体职责，只享有相应待遇，但魏征任为特进后，仍要主管门下省工作，具体日常行政事务他可不问，但有关国家大政方针、重要决定及判决流放以上的徒刑，都必须向他报告。另外，关于俸禄赏赐以及警卫、属员等，都和职事官一样，这是对魏征的特殊优待。
贞观十七年（公元643年）正月，魏征病情急剧恶化，他家里本来没有正厅，世民命令停止修建宫中小殿，把材料用来替魏征盖正厅，五天就完工。另外又依照他一贯推崇的俭朴作风，赐给他白色的褥子和布被。又派中郎将李安俨住在他家里，有什么情况，马上报告。赏赐的药品、食物很多，宫中派出的使者在路上络绎不绝。世民亲自去问病，让身边的人都走开，和魏征谈了一整天才回宫。后来又带上太子一同到魏征家，魏征在床上很起朝服，拖着带子。世民悲伤地抚慰他，流着眼泪，问他有什么要求，魏征说：“寡妇不愁织布的纬线少，只担心周朝的灭亡！世民打算把衡山公主嫁给魏征的儿子叔玉，这时公主也跟随在身边，世民对魏征说：“你勉强看一看新媳妇吧！”可是魏征已经不能答谢了。
魏征病逝，太宗亲为魏征制碑文。后曾对侍臣说：“夫以铜为镜，可以正衣冠；以古为镜，可以知兴替；以人为镜，可以明得失。朕常保此三镜，以防己过。今魏征殂逝，遂亡一镜矣！”并下诏令说：“昔惟魏征，每显予过。自其逝也，虽过莫彰。朕岂独有非于往时，而皆是于兹曰？”于是号召臣下以魏征为楷模，做到“莫有是非，直言无隐”。
魏征这个人，无论从身材还是长相，都一般，但他的胆量和谋略却是一般人远远不及的。他善于发现和领会皇上的真实思想和意图，因而他特别敏锐地从皇上的言行看出事态的本质，从不放过皇上的任何过失和疏忽，一遇有说话的机会，就严厉地批评皇上的不当，深刻地指出其危害性和可怕的影响。哪怕惹得皇上极为不快，甚至大为恼怒之时，他照样泰然自若，神色不改，坚持他的说法和意见，而且一定要把话讲完才罢休，不管是皇上爱听不爱听。唐太宗在这个一身正气，又满脸严肃的魏征面前，总不免有些紧张和胆怯，天子的威风也使不出来了。
唐太宗问魏征：“什么是明君？什么是暗君？”
魏征说：“兼听则明，偏信则暗。《诗经》说过：‘古代的贤人说，你有怀疑的事情，就赶快去请教割草打柴的劳动者。’过去的尧、舜时代，之所以达到大同社会，其做法之一就是开四方之门，以等待天下来访的贤俊；广四方之视听，以决天下之壅蔽，于是，能够广泛观察民情，全面了解社会，圣主的光辉普照天下，使共工、鲧等淫邪无用之辈，无法阻碍大治的步伐。秦二世则不然，把自己深藏在宫中，脱离人民百姓，偏信赵高一人，直到天下大乱，国家要灭亡了，他还蒙在鼓里。南朝的梁武帝也是偏信朱异，错误地重用侯景为大将军，封为河南王。后来侯景发兵攻打自己，梁武帝为侯景所逼，饥病而死。隋炀帝偏信虞世基，隋末起兵造反者已是星火燎原，遍地皆是，可虞世基深知炀帝讨厌听到坏消息，便报喜不报忧，致使全国大乱，隋帝国行将崩溃，炀帝却一点实情都不知道。以上事实说明，人君如能倾听不同的意见，多接触不同的人，那么佞幸之臣就封锁不了他，下情就可以上达了。”
唐太宗拿起笔，工工整整地写下魏征刚才所说的“兼听则明，偏信则暗”八个字，端详良久，深有所悟地感叹道：“说得好啊！”
三、借鉴前人经验
世民不但在“以人为镜”方面垂名青史，而且对“以古为镜”也非常重视，做得相当出色。他经常把历史当成一面镜子，对照自己的言行，研究当今朝政的得失利弊。为了从历史上吸取各个王朝“兴替’的经验和教训，世民曾对褚遂良说：“朕行有三：一，鉴前代成败，以为元龟；二，进善人，共成政道；三，斥远群小，不受谗言。”把“鉴前代成败”列为“三行”之首，可见对以史为鉴是何等的重视。世民深以自己少长军旅，在学业方面“不能该览经史”为恨事，即位后于机务之暇，经常与侍臣“访以古今”，“共观经史”。有的时候一个人“披玩书籍，中宵乃寝”，于是更加懂得了“事弗师古，无以为政”的道理。为了更好地学习历史，他曾令萧德言“裒次经史”，撰成《群书治要》一书，该书“爰自六经，讫乎诸子；上始五帝，下尽晋年”，广泛搜集了历史资料。魏征在序言中声明，古代为君的得失功过，书中“莫不备载”，目的在于“以着为君之难”。这本书“用之当今，足以鉴览前古；传之来叶，可以贻厥孙谋”。书成之后，世民表彰萧德言：“使我稽古临事不惑着，公等力也。”并且下令“诸王各赐一本”，以供学习。这件事可以说明，世民由于重视“以古为镜”，认真学习历史达到了何等地步。
不同的阶级有不同的借鉴历史的方法，地主阶级重视攻研史籍，目的在于“资治”。但同是地主阶级中的成员，借鉴的方法也不一定完全一样。那些心术不正的皇帝也读史书，但其重点在于吸取玩弄权术、施展阴谋诡计的经验；象世民与当朝的忠贤之臣，则主要是从史实中正面吸取成功的经验，反而吸取失败的教训。用魏征的话说，也就是“鉴国之安危，必取于亡国”。世民所谓“前事不远，吾属之师也”。意思是相同的。
虽然说“以古为镜”的目的是为了“知兴替”，但在贞观一朝君臣的心目中，重点是一个“替”字，“兴”的方面只居从属地位，因为他们借鉴历史，主要是以亡隋为鉴。贞观二年（公元628年）世民即位不久就对侍臣说：朕今临御天下，子养生民，思弘君道，以安百姓。卿等岂不见隋主为君，不恤民事，君臣失道，民叛国亡，公卿贵臣，暴骸原野，毒流百姓，祸及其身？朕每念及于斯，未尝不忘寝辍食，所以师古作法，不敢任情……魏征也一再指出：“当今之动静，必思隋氏以为殷鉴，则存亡治乱，可得而知。”贞观一朝，君臣强调“亡隋之辙，殷鉴不远”，就是因为一个统一寰宇，兵锐甲强的隋帝国，仅仅历时三十余年就突然之间覆灭了，这样的历史教训太直接了，值得令人深思。世民之所以在“知兴替”中突出一个“替”字，原因就在于此。
以此为出发点，世民在放眼古代时，也同样是主要从破家亡国的惨痛史实中“以古为镜”的。与隋朝最相似的莫过于秦朝，二者都是二世而亡的短命王朝，因而他一再把这两个朝代相提并论，用以警惕自己：“秦始皇平定六国，隋炀帝富有四海，既骄且逸，一朝而败，吾亦何得自骄也？”魏征在谈到兼听则明、偏听则暗的道理时，同样也举出类似的事例：“秦二世隐藏其身，以信赵高，天下溃叛而不得闻；梁武帝信朱异，侯景向关而不得闻，隋炀帝信虞世基，贼遍天下而不得闻。”世民对各代亡国的历史还进行了总结，指出“末代亡国之主，为恶多相类也”，其共同点是“深好奢侈”，横征暴敛。有一次宴郡臣于积翠池，他即席赋诗一首：日昃玩百篇，临灯披五典。
夏康既逸怠，商辛亦沉湎。
恣情昏主多，克己明君鲜。
灭身资累恶，成名由积善。这样的认识不仅入于篇什，而且上升到了规律性的概括，可以说是达到了铭心刻骨的程度。
不仅重视亡国之君，就是对那些开国皇帝及有雄才大略的成功君主，世民也往往从他们的缺点中吸取教训。譬如曾指斥“秦始皇营宫室而人怨叛者，病人以利己”；批评隋文帝“性至察而心不明”，“至察则多疑于物”，致使朝臣“不敢直言。宰相以下，惟即录顺而已”，肯定汉武帝“征役不息，户口减半，中途能改，还得传祚子孙。向使隋主早悟，亦当不至于灭。前事不远，朕与公辈当思自勉。”
为什么世民能够这样认真地注意吸取历史教训呢？与他的虚怀纳谏相同，都是由于隋末农民大起义的沉重一击，使他思想上“怕”字当头，才把过去亡国破家的历史当作警钟，经常对自己敲撞，如他一再说：朕昨阅《帝系略》，有八十余君，亡国丧身者多，兴邦利物者少。览此兴亡，极怀战惕。
如秦始皇，亦是英雄之主，平定六国已后，才免其身，至于便失其国。桀、纣、幽、厉，亦皆丧亡。朕为此不得不惧。“观近古帝王，有传位十代者，有一代两代者，亦有身得身失者，朕所以常怀忧惧。”
世民越是害怕隋末农民起义时的那场地主阶级的恶梦，就越是要攻读历史，而越读历史越加惧怕。在贞观前期，他实际上是在战战兢兢中做到了兢兢业业的。为了防止破家亡国悲剧的重演，就须要随时警惕“骄”字的产生和滋长，所以世民对古代开国君主的骄矜也特别敏感。如他曾特别指出“晋武帝平吴已后，务在骄奢，不复留心政治”，故不免“失慎于前，所以贻患于后”。世民对此遂深为叹息：“殷勤史策，不能无慷慨焉！”他也看到隋文帝“伐陈已后，心逾骄奢，自矜诸己，臣下不敢复言，政道因兹弛紊”，亦深引以为戒。正是在这种思想的支配下，世民在贞观十五年（公元641年）以一则以喜一则以惧的心情承认自己有“二喜一惧”，“比年丰稔”和“北虏久服，边鄙无虞”是二喜，但“治安则骄侈易生，骄侈则危亡立至，此一惧也”。
世民不仅注意自己和当代人要以史为鉴，而且自觉到他本人的一言一行也就是历史，因此执意要谨言善行，写好自己的历史，以为后人之镜。有一次韦挺上书陈得失，世民赐书称：“若能克全此节，则永保令名。如其怠之，可不惜也。勉励终始，垂范将来，当使后之视今，亦犹今之现古，不亦美乎？”这话说得非常中肯，颇有高瞻远瞩的气概。
纵观世民一生，多能从正确的角度出发借鉴历史，但他偶然也有错误地总结历史经验的时候。譬如他根据萧瑀“前代国祚所以长久者，莫不封建诸侯，以为磬石之固；秦并六国，罢侯置守，二世而亡；汉有天下，众建藩屏，年逾四百；魏、晋废之，不能永久”的谬论，一再企图裂士分封，甚至实行世袭刺史制，就是明显的一个例子。他的这个错误主张，既不能用历史的局限性，也不能用阶级的局限性来加以解释，只能用他的一时糊涂给以说明，因为处于同一时代、同属一个阶级的李百药、长孙无忌与马周就都能批驳萧瑀的主张，尤其李百药也是以往古的史实为鉴，却得出了与世民、萧瑀完全相反的结论，此外，世民不顾一贯的优良传统，一再要求违例亲看起居注和国史，这对史官的秉笔直书非常不利。世民在玄武门之变中是一个胜利者，逼父退位，诛杀兄、弟，却又违反封建道德，史官为了回护唐太宗，在编纂《高祖实录》和《太宗实录》时就不免歪曲历史，掩恶扬善，这也是世民阶级局限性必然导致的结果。剥削阶级尽管也强调史官的“直笔”，但他们要彻底做到这一点是根本不可能的。
