隋文帝即位后。对兵役制度作了重要改革，以加强对军事的控制。同时，也对行政机构进行了一些改革。开皇元年（公元581年），杨坚登位不久，立即采纳了大臣崔仲方的建议，废除北周模仿《周礼》在中央设立的“六官”制度，“依汉魏之旧”建立中央机构。《隋书•；百官志》说：
高祖践极，百度伊始，复废周官，还依汉魏。唯以中书为内史、侍中为纳言、自余庶僚，颇有损益。
皇帝是最高的主宰，握有军政的绝对大权。辅佐皇帝处理全国军政机要的主要有三省，即尚书省、内史省、门下省。三省长官都是宰相。
隋代的尚书省地位很高，管理全国政务。《隋书•；百官志》说：“尚书省，事无不总”。这句话说明了尚书省在中央最高行政机构中权力之大，地位之尊。当然，这并不是说尚书省包揽一切。尚书省的总官署名叫尚书都省，置尚书令、左右仆射各1人，总领吏部、礼部、兵部、都官（开皇三年改刑部）、度支（开皇三年改民部）、工部等六部。六部长官是尚书，与尚书令、左右仆射合称“八座”。吏部掌文官选授考课，吏部尚书绞吏部侍郎2人，主爵侍郎1人，司勋侍郎2人，考功侍郎1人。礼部掌学校、礼乐。礼部尚书统礼部。祠部侍郎各1人，主客，膳部侍郎各2人。兵部掌军籍舆马，兵部尚书统兵部，职方侍郎各2人，驾部，库部侍郎各1人。都官掌刑政司法，都官尚书统都官侍郎2人，刑部，比部侍郎1人，司门侍郎2人。度支掌财税出纳，度支尚书统领度支。户部侍郎各2人，金部、仓部侍郎各1人。工部掌工程建造，工部尚书统工部。屯田侍郎各2人，虞部、水部侍郎各1人。六部共24曹36侍郎，分司曹务，直宿禁省。尚书省的长官为尚书令，实际上一般不授人，隋代只有炀帝时的杨素因为有翊戴之功，又平定了汉王谅，方进位尚书令。但是炀帝对他“外表殊礼，内情甚薄”。他有病，炀帝虽然频频遣名医赐药，“然密问医者，恒恐不死”。所以隋代尚书省长官实际上是左右仆射（从二品）。其中左仆射判吏部，礼部，兵部，兼掌纠弹；右仆射判都官，度支，工部，兼知财政用度。仆射的属官有左右丞各1人，都事8人。炀帝时把都事拨到六部去了，另增设左右司郎各一人来代替，他们就是唐代左右司郎中的前身。隋代尚书是一个机构完整的中枢政务部门，与前代大不相同。“侍郎”掌一“司”之事，与后代的“侍郎”不同。
门下省在隋初是侍奉谏议机关，掌审查政令及封驳诸事。其长官有纳言二人（正三品），它本是侍奉内廷，以备皇帝之顾问。《隋书•；柳机传》载，柳机在文帝开皇年间为纳言，“当近侍，无所损益，又好饮酒，不亲细务”。所以不久就出为华州刺史。次官有给事黄门侍郎4人，负责纠正奏章得失。《隋书•；柳雄亮传》载，雄亮任给事黄门侍郎时，“尚书省凡有奏事，雄亮多所驳正，深为公卿所惮”。炀帝时去“给事”二字，另加置给事郎4人，这就是唐代给事中的前身。此外，还有录事、通事令史各6人。隋初还有散骑常侍，通直散骑常侍各4人、谏议大夫7人，都是谏官。炀帝说他生性不喜人谏，所以把谏官全部罢废了。隋初，门下省还掌皇帝衣食供奉等日常生活事务，统城门、尚食、尚药、符玺、御府、殿内等六局。城门局：设校尉2人，直长4人。尚食局：设典御2人，直长4人、食药4人。尚药局：置典御2人，侍御医、直长各4人，医师40人。符玺、御府、殿内局：置监各2人、直长各4人。
与尚书省、门下省鼎足而立的是内史省。内史省后来改为内书省，为中枢的制令机关，专司起草皇帝诏令。隋初置监、令各1人，后来废监，置令1人（正三品）。内书令，本称中书令，在汉代本是掌禁中书记的，所以称“中书”。汉武帝时，司马迁受腐刑出狱后就当过中书（谒者）令。魏晋以来，中书令掌出纳王命，南朝多以诸公兼之，至隋代才以专人任其职。炀帝时，内书令已不常置，往往以其次官内书侍郎行其职。内书省的属官还有舍人8人，掌起草制令；通事舍人16人，掌宣奏。不过，在隋代也偶有内书侍郎亲自草拟诏敕，如《隋书•；薛道衡传》载：高祖时薛道衡任内书侍郎，“每至构文，必稳定空斋，蹋壁而卧，闻户外有人，便怒。”其劳心焦思若此，所以文帝赞扬他说：“薛道衡作文书，称我意。”
三省之外，还有秘书省和内侍省，这是掌握具体事务的官署，秘书省掌图书籍藏整理。这个官署一般比较清闲，长官为秘书监（正三品）1人，次官有秘书丞1人。属官有秘书郎4人、校书郎12人、正字4人、录事2人，领著作曹、太史曹。著作曹掌国史修撰，有著作郎2人，佐郎8人，校书郎、正字各2人。太史曹掌天文历法，置太史令、太史丞、司历各2人，监候四人。隋炀帝大业年间，又新置儒林郎10人，掌明经顾问，唯诏所使。文林郎21人，掌撰录文史，检讨旧事。
内侍省是内廷的侍奉机关，隋初由宦官担任。置内侍（从四品上）2人为其省长。次官有内常侍2人。属官有内谒者监6人，内寺伯2人，内谒者12人，寺人6人，伺非8人，统领尚食、掖庭、宫闱、奚官、内仆、内府等六局。炀帝时改内侍省为长秋监，有长秋令、少令、丞等皆用士人，低级役使人员则用宦官。
以上是隋代中枢机构的“五省”，朝廷内外政务皆由其统辖，为中央最高执政机关。
隋初的监察机关只有御史台，炀帝大业三年（公元607年）又增设了谒者、司隶二台，合称三台。御史台的长官为御史大夫（从三品）1人，次官为治书侍御史2人。属官有侍御史8人，殿内侍御史、监察御史各12人，录事2人。御史职掌纠察弹劾。如《隋书•；李孝贞传》载：隋初李孝贞为内史侍郎，不称职，文帝欲免其官，就先“敕御史劾其事，由是出为金州刺史”。御史还出使巡察，监诸军旅，如《隋书•；柳彧传》载：开皇时，柳彧为治书侍御史，持节巡察河北五十二州，“奏免长吏赃污不称职者二百余人”；仁寿初，又持节巡察太原道十九州。炀帝时设置了谒者、司隶二台后，便分割了御史台的职权。谒者台的职掌是奉诏出使，慰抚劳问，并持节察按，遇有冤狱则受而奏之。长官为谒者大夫1人（正四品）。司隶台职掌巡察京畿内外，长官为司隶大夫1人（正四品），属官有别驾2人，分察畿内，一人管东都洛阳，一人管京师长安。有刺史14人，从事40人副之，掌巡察京畿以外的全国郡县，其职责是“激浊扬清”，若遇贪黩的郡守则有权免职，有功则上报其事迹，加以旌勉。不久，司隶台被废，改派以京官清明者挂司隶衔头出使巡察。
隋初的都水台和太常以下十一寺，到炀帝大业三年（公元607年）演变为太常、光禄、卫尉、宗正、大仆、大理、鸿胪、司农、太府等“九寺”，以及国子、将作、都水、长秋和从太府寺分置的少府等“五监”，统称诸寺、诸监，也都是中央具体的事务机关。由于各寺、监长官都得亲自处理事务，所以往往选派懂得该方面事务或有专长的人担任，如将作监掌土木工程，长官称将作大匠。据《册府元龟》卷602《卿监部•；选举》记载，宇文恺从小好技艺之事，有巧思，因受株连除名在家。杨坚建造仁寿宫时，特地征召他代理将作大匠，以总其事。又如司农寺是掌屯田种植的，长官称卿。据《隋书•；樊叔略传》载，樊叔略在任司农卿时，“凡种植，叔略别为条制，皆出人意表”。再如太府寺在开皇时兼掌手工业，据《隋书•；苏孝慈传》载，苏孝慈在任太府卿时，“征天下工匠，无不毕集，孝慈总其事，世以为能。”隋代因设六曹尚书，所以寺卿的权力比秦汉之九卿为轻。
杨坚出身军事贵族，又凭借军政权力攫取了帝位，深知集中军权对于巩固统治的重要性。北周时期，强迫汉族官员改用鲜卑姓，兵士也要随将军改姓。杨坚下令恢复群官旧姓，也就相应地改变了兵随将姓的宗法隶属关系。以后，在北周府兵制的基础上，建立十二府：即左右卫、左右武卫、左右武侯、左右领、左右监门、左右领军等，统领全部内外禁卫部队。每府设大将军1人，将军2人，下辖骠骑、车骑府。十二府的大将军直隶于皇帝，军人总称侍官。隋初兵府各级将领的数目比北周时增多，而品位则普遍降低二、三级。这些改变大大加强了以杨坚为首的隋朝中央政权对军队的控制。到炀帝时，把隋初的十二府变为左右翊卫、左右骑卫、左右武卫、左右屯卫、左右御卫、左右侯卫等十二卫和左、右备身府、左、右监门府等四府，统称十六卫府。各府所辖之骠骑府改称鹰扬府，军人改称卫士。十六卫府为中央军事宿卫机关，统领全国军队。这与尚书省兵部仅掌军事行政，而无一兵一卒之权不同。十二卫各有大将军1人，将军2人，分统府兵。四府不统府兵，各置郎将1人，直斋或直阁若干人。备身府掌左右侍卫，监门府掌门禁守卫。
东宫太子是皇帝的接班人，古称“皇储”，置太师，太傅，太保及少师，少傅，少保，专司训导。此外，在其府下还有一套文武人马，其制拟中央官制，门下坊拟门下省，置左庶子2人，内舍人4人，录事2人，主事令史4人，统领司经、宫门、内直、典膳、药藏、斋帅等六局。司经局置洗马4人，校书6人，正字2人。宫门局置宫门大夫2人。内直局置内直监、内直副监各2人，监殿舍人4人。典膳、药藏、置监、丞各2人。药藏又有侍医4人。斋帅局置吏员4人。典书坊拟内史省，置右庶子2人，舍人、通事舍人各8人，录事2人，主事令史4人，内坊典内及丞各2人，丞直4人，录事1人，内厩置尉2人，掌内车舆之事。家令寺、率更令寺、仆寺，制拟中央诸寺诸监。家令寺置丞2人，掌刑法、食膳、仓库、什物、奴婢等事。率更令寺置丞1人，掌伎乐漏刻。仆寺置丞1人，掌宗族亲疏，车舆骑乘。家令寺领食官、典仓、司藏三署令。仆寺领厩牧令员。此外，东宫还置有十率府，即左右卫、左右宗卫、左右虞候、左右内率、左右监门，其制拟十六卫府。但实际上其职事都比较清闲，而且往往由他官兼领。如杨坚的长子杨勇为太子时，高祖“多令大臣领其职”，据《隋书•；苏孝慈传》载，兵部尚书苏孝慈就曾挂名兼领太子左卫率、太子右庶子等职。
隋文帝采用北周之制，设“勋位”十一等，即上柱国、柱国、上大将军、大将军、上开府仪同三司、开府仪同三司、上仪同三司、仪同三司、大都督、帅都督、都督等，以酬答有功之臣。又设特进、左右光禄大夫、金紫光禄大夫、银青光禄大夫、朝议大夫、朝散大夫等散官之号，以加封给品德高尚、声名著称但不理事的官员。隋代规定，有具体职责的官员称“职事官”，无者为“散官”。
地方官制在秦汉时，本来只有郡、县二级，后因地方权力不断扩大，就增置刺史或州牧，直属丞相，以制约太守，于是地方官制就由二级变为三级了。隋初地方制还是州、郡、县三级，据《隋书•；地理志》载，杨坚即位时，有州201个，郡508个，县1，124个。州、郡、县均分为上上至下下九等。一般都有两套职官，一套由吏部直接任命的官员，州除刺史外，还有长史、司马、录事参军事、功曹、户曹参军事等；一套由刺史直接辟置的官员，如典签、州都、郡正、主簿、西曹书佐、祭酒从事、部郡从事、仓督、市令等。郡也是如此，除郡太守、郡丞、郡尉由吏部直接任命外，还有光初光曹、光初主簿、县正、功曹、主簿、西曹、金、户、兵、法、士诸曹，均由郡太守自行辟置。县除主官由吏部任命外，其僚佐也由县令自行辟置。这套州、郡、县地方行政机构十分庞大，上上州额定官员323人；上中州311人；就是下下州也有156人。上上郡额定官员为146人，上中郡为141人，下下郡也有97人。上上县额定官员99人，上中县95人，下下县也有47人。州、郡、县如此之多，官吏设置如此之滥，出现了“或地无百里，数县并置；或户不满千，二郡分领”的狭小区域，形成了“民少官多、十羊九牧”的地方行政机构。杨坚接受了杨尚希的建议，按照“存要去闲，并小为大”的原则，于开皇三年（公元583年）对地方行政机构进行了大规模的精简整顿，把州、郡、县三级制，改为州、县二级制，罢天下诸郡，以州直接统县。州设刺史，县设县令。县下五家为保，五保为闾，四闾为族，分置保长、闾正、族正（京畿以外置里正、党长），对人民进行严密的控制。
隋文帝改革地方行政制度的一项重大措施，是完全废除了汉代以来州郡长官可以自行辟署置僚佐的制度。州郡牧守自辟僚佐，是形成地方割据势力的一个重要因素。有的属吏和举主之间，由于形成了牢固的封建依附关系，往往唯主之命是从，而置封建国家的利益于不顾。自魏晋实行九品中正制以后，世家大族垄断了品第人物；荐举官吏的权力，州郡僚佐的辟署，实际上又为世家大族所左右。这种情况，不利于中央集权。北魏末年和北齐时期，州郡僚佐大多由吏部铨授，但州郡长官自署僚佐的制度并未废除。隋文帝把州郡僚佐的任命权，完全收归吏部，全国九品以上地方官均由中央任命，吏部考核。同时规定县佐必须回避本郡，任期三年，不得连任。这样就大大加强了中央政府对地方的控制。
隋炀帝大业三年（公元607年）又易州为郡，地方官制变成郡县二级。郡分上中下三等，各置太守，上郡从三品，中郡正四品，下郡从四品。京兆、河南则俱置尹，俱为正三品。罢长史、司马，置赞务（后改为丞）为次官。后来，诸郡各加置通守一人，位次太守，居赞务之上。京兆、河南，则谓之内史。以前，凡有驻兵处，则刺史带诸军事衔以统之。炀帝时则别置都尉，副都尉。都尉正四品，副都尉正五品，领兵与郡不相知。大兴、长安、河南、洛阳四县令，并增为正五品。其余诸县根据其政务之繁简及地域之主次以定县令之等级。各县均置丞及主簿如故。根据《隋书•；地理志》的记载，大业五年（公元609年）的统计，全国有郡190个，县1，255个。诸郡每年年终太守或佐贰都要进京述职，称为朝集使。朝廷不定期地派司隶台官员或别使到地方巡察，以沟通中央与地方的密切联系。
除州（郡）县以外，隋代地方还有两类机构。一是行台省，全称行台尚书省，相当于中央尚书省在地方的派出机关。总统某方面的军政事务，凡管辖内的州县皆受其节制，事权极重。开皇二年（公元582年），置河北道行台于并州，以晋王广为尚书令，置西南道行台于益州，以蜀王秀为尚书令，置河南道行台于洛州，以秦王俊为尚书令。不久，又废罢了。行台省的主官是尚书令，次官为仆射（左、右任置）。其下置兵部尚书、度支尚书及丞各1人，都事四人。又有考功，礼部，膳部，兵部，驾部，库部，刑部，度支，户部，金部，工部，屯田等侍郎各1人。每行台还置食货、衣圃、武器、百工监、副监各1人。二是总管府。隋初依北周旧制于诸州置总管府，分为上、中、下三等，总管刺史加使持节，掌一州或数州的军政事务。如秦王俊为秦川总管时，“陇右诸州尽隶焉”。《隋书•；高祖纪》载：开皇八年（公元588年），晋王广曾奉命统九十路总管，领五十一万大军伐陈。炀帝大业元年（公元605年）废除总管府。但这个制度对唐代的地方官制仍有一定影响。
