郭子兴之死，并没有在和州和滁州引起太大的混乱，因为这支部队的真正的创建者和指挥者是朱元璋。有资格与他相较量的只有郭子兴妻弟张天祐和两个儿子郭天叙、郭天爵，他们虽有小小的动作，但是元璋没太放在眼里。
至正十五年（公元1355年）四、五月间，元璋坐镇和州，接连打退了几次元军的进攻，他个人也添了桩喜事。小张夫人是一个绝顶聪明的人，她知道过去子兴与元璋的矛盾，现在无疑要依靠元璋的保护。于是，她把自己的女儿嫁给了元璋做第二夫人，成了元璋名副其实的岳母。这位第二夫人就是后来的郭惠妃。
四月二十一日，元璋带护卫在城郊巡视，得收一员大将常遇春。常遇春是濠州属县怀远人，相貌奇伟，有一身好气力，两只臂膀长大如猿，弯弓射箭百发百中。至正十二年（公元1352年），23岁，跟随本县一个叫刘聚的人落草。刘聚虽然看重遇春，但只是在方圆十几里范围内称王称霸，烧杀劫掠，这使遇春大为失望。至正十五年（公元1355年），濠州遍地饥馑，遇春带领几十个人到各地游食劫掠，沿路访得有一个朱总管，兵强马壮，不杀不掳，便投奔而来。据说，他在和州城外的田地里正困乏而卧，梦见一个披甲金神以盾牌推他说：“快起来，主君到了。”随即惊醒，正巧元璋带队走到前面。是遇春真做了这个梦，还是他当时或后来捣鬼，已无从考证。不过，元璋一见此人，非常喜欢。为了考验他的诚意，元璋起初并没让他打仗。一次出征，他坚决要求做先锋打头阵，元璋说：“你自有你的主人。你到这里来，不过是因为饥饿，我怎么好留你在身边呢？”遇春一听这话，急得脸红到脖子，再三要求出征，元璋执意不允，这个7尺莽汉竟至呜呜哭泣。元璋说道：“既然你这么有诚心，就随我一同渡江吧。到那时我有重要差事给你。”原来，此时元璋已在做渡江准备，在为渡江物色勇士。常遇春后来成为元璋手下仅次于徐达的统帅和战将，为明朝开国事业立下了汗马功劳。
和州终究是座小城，大军驻扎，日子一长，出现了粮荒。元璋决定打过长江去，进攻集庆。集庆虎踞龙盘，形势险要。历史上吴、东晋以及南朝都曾在此定都。而且，以集庆为中心的江南地区是当时全国最大的产粮区，资源丰富。他把这个想法和李善长一说，深得赞赏。但渡江要有大批船只，元璋没有水军，只能望着涛涛江水兴叹。
至正十五年（公元1355年）五月初二，元璋正愁眉紧锁，忽报巢湖水寨有人求见。元璋想，这怕不是做梦吧，随即一声“快请”。来人叫俞通海，正是来联系归顺的。等俞通海离去之后，元璋狂喜不能自禁，对着李善长、徐达等人欢呼道：“真天助我也。我的大事可成了。”
原来，当刘福通红巾军在颖州起义的时候，彭莹玉的门徒金花小姐和赵普胜、李普胜在巢湖区域起兵响应，庐州巢县俞廷玉和三个儿子俞通海、俞通源、俞通渊等人前往归附。赵普胜据含山寨，李普胜据无为州，他们联合附近另一支起义首领廖永安、永忠兄弟，势力迅速壮大。后来，金花小姐战死，赵普胜和李普胜等人只好退守巢湖，建立水寨，拥有大小战船1000多艘和水军1万多人。这支红巾军的首领是彭莹玉的门徒，人们就把水寨叫彭祖水寨。当初，他们与另一位起义首领左君弼结势联合，但左君弼攻取庐州后割地自保，降元反过来攻打他们。赵普胜等人怕被左君弼吞并，就先后三次派人向朱元璋求救，表示愿意投靠。
元璋亲自率兵来到巢湖水寨。李普胜、俞廷玉、廖永安等整齐船舰，列队欢迎。为了避免发生异常，他们在察看了水道之后，便想尽快将船队带出巢湖。原来打算从铜城闸、马肠河通过，发现中丞蛮子海牙已经在这里布置了重兵，唯一的一个小河汊未被封锁，但水道浅涸，大船根本无法通过。千艘战船被困，元璋心急如焚。岂料这天傍晚竟电闪雷鸣，瓢泼大雨从天而降，不到几个时辰，河水暴涨，舟行无阻，简直就是个奇迹。帆樯遮天盖地，像一片巨大的云阵，缓缓驶离巢湖。
在去和州的途中，赵普胜又反悔起来。他善使双刀，曾是叱咤巢湖的一员猛将，如今却要寄人篱下，受制于一个年轻人，心里觉得很不是滋味，想拉出队伍，再去自己闯闯。他对手下人透露了这个想法。不料有人向朱元璋报了信。朱元璋立即采取措施，控制了赵普胜的部队，并派人监视他。赵普胜见他的意图被察觉，只得连夜带了几个亲信，渡江投奔了徐寿辉。
大部水军安全抵达和州。元璋任命廖永安、张德胜、俞通海等为水军统帅，加紧训练。五月十七日扯帆出发，与蛮子海牙在长江边上的峪溪口展开大战，蛮子海牙的战舰既高且大，进退不易。廖永安兄弟、张德胜等操纵轻舟，行进自如，来往如飞，把元军船队搞得进退两难，自相撞击，狼狈而逃。永安等人乘胜追击，败敌于青沙坊，连克鲚鱼洲以及铁长官、新生沙二寨，俘获大批战船。蛮子海牙被赶到长江以南，和州附近江北元水师被彻底肃清，为随后的渡江作战扫清了道路。
五月二十五日，朱元璋召集将领讨论渡江作战方案。一些将领主张直捣集庆，朱元璋不同意。他一生都主张持重，打仗更是谨慎行事。攻打集庆是一场硬仗，他是绝对不会盲目进攻的。此前，他经过再三思考，并征求了李善长等人的意见，这时说出了自己的想法，即先取采石（在今安徽马鞍山西南），占据险要，再克太平（今安徽当涂），扫清外围，最后顺流而下攻打集庆。他说：“采石像一个龟头，突出大江，形势险峻，是集庆上游的咽喉，攻取集庆必须先拔掉这个‘钉子’。从历史上看，西晋武帝司马炎灭东吴、南北朝侯景灭萧梁、隋朝大将韩擒虎灭陈、北宋大将曹彬灭南唐，都是先取采石，再克建业（即集庆）的。”经他这么一分析，将领们心服口服，作战方针就这么定了下来。
在渡江以前，朱元璋命令把诸将士的家属全部留在和州，他自己也不带家属出征。他说这是保护家属的安全，其实是把这些家眷作为人质，防止将士叛逃。他还发布了一项筹集粮饷的命令：“进入敌境后，任凭捎粮。攻城时遇到抵抗，将士可以检括；如果敌人投降，即令安民，一无所取。”捎粮又叫寨粮，是一种征粮于民的做法，即在敌人境内的乡村张贴告示，招安百姓，让他们纳粮。这是筹集军粮的主要手段。检括就是抄掠。原先，元廷调湖广平章阿鲁灰到淮西镇压苗民起义，不向他们提供军饷，阿鲁灰便采用抄掠的方法，解决供给。朱元璋的做法就是从那里学来的，也算是对顽抗之敌的一种惩罚。
至正十五年（公元1355年）六月初一，元璋率先登舟，徐达、冯国用、邵荣、汤和、李善长、常遇春、邓愈、耿君用、毛广、廖永安等都引船随行。前面是正规舰队，后面是芦苇扎起的木筏。原来打算乘暗夜渡，但傍晚船到江口，雷电风雨大作，天昏地暗，雨下了整整一夜，只好等待。第二天黎明时分，西北风将浓云分两道架过江去，覆于采石上空。舟驶东南一路顺风。于是舳舻齐发，战士欢呼雀跃。元璋与廖永安扬帆前导，船头直指牛渚。舟借风力，霎时间，千帆抵岸。驻防元军前来拒战，元璋麾众厮杀，敌兵边战边退，这时，常遇春飞舸驶来，挥戈直刺岸上元军。元兵见他单独闯阵，企图抓住他的戈矛，将他活捉。遇春趁他们抓戈的一瞬，顺势跃上石矶，呼叫着杀入敌阵，元兵被他的勇悍所慑，纷纷败退，元璋乘机督军攀登，一路掩杀，攻克牛渚，横扫采石，沿江诸垒，望风而附。
采石是座大镇，屯积了许多粮食。朱元璋的军队像一群饿汉，见了粮食就抢。他们争着把粮食和财物搬到船上，想运回和州享用，闹轰轰谁也拦不住。朱元璋即刻把几位将领叫到跟前，对他们说：“今天出师顺利，应该乘胜攻打太平。如果听任将士搬运财物返回和州，就会前功尽弃，再想过江就不容易。”他下令诸将砍断揽绳，把船推入急流。正在搬粮的将士见状，都惊呆了，秩序一下好了起来。这时，元璋出面了。他大声说：“我们渡江是为了成就大事，不是贪图眼前小利。前面有个地方叫太平路，那里的财富比这里多百倍。大家应该继续前进，攻下太平，那时候再好好享受不迟。”经过一番鼓励，将士们冷静下来，饱食了一顿，又开始向太平进军。
元璋再做前导，自观音渡经太平桥东南行进，直驱太平城下。元平章完者不花，万户万钧、纳哈出、达鲁花赤埋里罕忽里，路总管靳仪，佥事张旭等闭门据守。元璋的兵将士气正盛，不一个时辰就破城而入。完者不花与张旭等弃城逃走，纳哈出被俘。这天是六月初二，黎明时分渡江，到进城，太阳刚刚偏西。
将士们都以为现在可以随意抢掠了，哪曾想元璋在采石出发前，已嘱咐李善长起草了禁止掳掠的榜文，一进太平即令人到处张帖。上面写着谁敢抢掠财物，杀无赦。那些憋足了劲想在太平大发一笔横财的人，见了榜文，又傻了眼。有几个不听约束的，当即被杀了头，并斩首示众。一时间，城中肃然，民心安定。战斗结束，元璋打开官库，把金银财物按功行赏，每个将士都得到一份，总算安抚了他们。
这是全城百姓第一次见到不杀不掳的部队。于是，太平路享有盛名的儒士李习、陶安等率领父老迎接元璋。陶安很会讨人喜欢，迎上前去说：“龙姿凤质，非寻常人也，我等总算有主了。”六月初三，元璋将陶安、李习召去讨论时局，垂询对平定天下的意见。陶安说道：“方今四海鼎沸，豪杰并争，攻城掠邑，互相雄长。多数人的志向都在子女玉帛，图一时之快，没有拨乱救民安天下之心。明公率众渡江，神武不杀，人心悦服。如此顺天应人而兴吊民伐罪之师，平定天下不会是很困难的。”元璋说道：“足下的说话得很在理。下一步，我想攻取金陵，你看怎么样？”陶安回答：“金陵自古以来就是帝王之都，龙蟠虎踞，形胜之地。长江天堑，进可攻，退可守。如果由此出兵以靖四方，则何往而不胜？”听了这些议论，元璋很是高兴，又见他思路敏捷，谈吐高雅，便留他做了幕宾。陶安这年46岁，李习已80多岁。
太平是过江后攻下的第一个大的城池，是元璋作为最高统帅占领的第一个重要据点，又是朱元璋事业的一个转折点。元璋改太平路为太平府，任命李习为知府，设置了太平兴国翼元帅府，自任大元帅。元璋任命李善长为帅府都事，汪广洋为帅府令史，陶安、宋思颜、王恺为参幕府事，梁贞、潘庭坚为府学教授，协同处理帅府日常政务。李习、陶安、汪广洋、宋思颜、王恺、梁贞、潘庭坚都是太平府知名儒士。
元璋注重延揽士人，不自今日始。从江北跟随而来的，除李善长、冯国用、范常之外，还有濠州郭景祥、李梦庚，定远毛骐，滁州杨元呆、阮弘道，全椒侯元善、樊景昭，舒城汪河，以及王习古、杨欤干、范子权等。这些人或管理文案，或出谋划策，或咨询顾问，使朱元璋日渐深沉练达，走向成熟。元璋同读书人交往，一方面在补各种文化知识课，结合军事政治斗争的实践，了解前人积累的各种经验；另一方面也是在缓和与各地士大夫的矛盾，消除他们的敌意。因为读书士人往往是一个宗族一个地域的团聚核心。一个著名儒士，就是一面旗帜，一种凝聚力和号召力。
元璋能够争取到地主知识阶层的支持，还有其特殊的因素。因为元朝蒙古贵族们在处理政务时，宁用粗识文字的吏，而不喜用高傲寡合的儒。余阙曾说：“自元以下始浸用吏，虽执政大臣亦以吏为之。由是中州小民粗识字能治文书者，得人台阁供笔札，累日积月皆可以致通显。”而“士大夫有欲进取立功名者，皆强颜色，昏旦往候于门，媚说以妾婢，始得尺寸。”所以当时儒者的地位甚低。有记载说，滑稽之雄以儒为戏者曰：“我大元制典，人有十等，一官二吏，先之者，贵之也，贵之者，谓有益于国也。七匠，八娼，九儒，十丐，后之者，贱之也，贱之者，谓无益于国也。磋乎卑哉，介乎娼之下丐之上者，今儒也。”这十等之民还有一种排法，叫作一官二吏三僧四道五医六工七猎八民九儒十丐。
仕途的狭窄和社会心理的压力，造成知识分子对元政权的淡漠和离心。历史上还没有哪一个王朝有那么多读书人像元末这样主动，涌进农民的造反队伍。朱元璋恰恰是准确地把握了这个时代脉搏，尽可能地收罗了这股反元势力为其所用。太平元帅府建制之后，他对知识分子的争取利用变得更积极，更主动。
元璋攻占太平后，元军自四面合围。元右丞阿鲁灰、枢密副使绊住马、中丞蛮子海牙等用大船封锁了采石江面，又堵住了姑孰口（在今当涂县南），切断了朱元璋回和州的通道。方山寨“义兵”元帅陈埜先与康茂才又率水陆军数万人进攻太平府。朱元璋亲自指挥攻防，但形势依然十分危险。这时，他刚娶的夫人孙氏献上一计，说：“库府中还有一些金银，为何不拿出来分给将士，激发他们的斗志？如果城破，留着那些金银还有什么用？”一句话惊醒了梦中人。他命人打开府库，把金银财物抬到城墙边，当场赏给守城的将士，士气果然大振。于是，朱元璋派徐达、邓愈潜出城外，绕到陈埜先背后，他自己与汤和出东门与陈茔先交战。陈埜先的军队迎战不利，向后撤退，又遭徐达军的埋伏，伤亡惨重，部众溃散，落荒而逃。跑得慢的都成了俘虏，陈埜先本人也被生擒。
陈埜先所纠集的团保地方武装所据守的方山寨，扼守秦淮河，逼近金陵，地理位置十分重要。陈埜先被活捉，元璋高兴异常。当林埜先被捆绑着押解到面前，元璋起身，亲自为他松梆，并让他坐下叙话，陈埜先毫不客气，侧身便坐，问道：“为何不杀我？”元璋说：“此时天下大乱，豪杰并起，遍地元帅满地王，据山寨，攻城邑者，不知几多。大半是斗胜的人附，斗败的附人。将军既以豪杰自负，一定了解这个形势，明白这个道理，难道还不知不杀你的原因？”陈埜先慨然而道：“元帅之意，是不是要我招降手下部队？”元璋说：“正是这个意思。将军声震东南，朱某久有交结之意，今日也是天作之合。如果我俩携手，这些草莽鼠辈，怕不够我们拨弄的。”陈埜先说：“久闻元帅的部队不杀不掳，就知元帅志不在小。如蒙元帅不杀之恩，甘愿追随。我手下部队的将校都是我的故旧，只需一纸，召之即来。”元璋闻言大喜，说道：“真是英雄本色，快人快语。现在还有一事商量，不知将军意下如何？”陈埜先说：“但请吩咐。”元璋说：“我有意与将军结为兄弟，如何？”陈埜先起身说道：“如此，高攀了。”元璋即命宰乌牛白马，祭告天地，二人喝了血酒，对天盟誓，共约攻取集庆，闯荡大业。埜先果然修书几封，部下闻召赶到太平。元璋兵不血刃，平添了几万劲卒，心下好不快活。
阿鲁灰、蛮子海牙等见陈埜先攻城失败，也从采石、姑孰口撤兵，改屯于江北峪溪口。六月初十，徐达奉命东击，攻占了秦淮河上游的溧水县。
再说巢湖水师在渡江以来的战斗中屡立战功，就有些居功自傲。但朱元璋对水师的犒赏并不特别优厚，难免心存怨恨。李扒头即李普胜乘势煽动，企图叛乱。他在船上摆酒庆功，邀请朱元璋前往祝贺。桑世杰向元璋告密，元璋暗暗吃惊，托病推辞。没过几天，元璋回请水师将领，李扒头不加提防，随同前往，席前灌醉，当即拿下，宣布谋反罪状，投入大江。他的部下一个个吓得胆战心惊，元璋宣布他人概不追究，巢湖水师才算彻底归顺。
向集庆路进发，万事俱备。这一仗关系重大，更应该稳扎稳打。陈埜先的几万部队得来太容易，反倒让元璋心里没底。
八月初七，议定进攻集庆，陈埜先果然有所动作。他当初给部下写信，是想激励他们与元璋死战，并不真心劝他们归附，不料弄假成真，心里忙叫苦不迭。这次他的部队被抽去攻打集庆，他暗中吩嘱部下不要卖命真打，待他脱身逃出去，再回来打朱元璋。由于埜先的几万人马不卖劲，张天佑吃了败仗，撤归。有人向朱元璋揭发了茔先的诡计。其实元璋对埜先的举动也有所察觉。他接到报告后，心里就一直盘算着怎样处理这件事。
元璋把埜先召了来，郑重地告诉他：“你我虽为结拜兄弟，但是人各有志，恋主之心，无可指责。从我从元，任你挑选，我决不勉强。”埜先听到这话，先是一惊，随即赌咒发誓道：“我若背叛元帅再生之恩，神人不容，让我不得好死。”元璋连忙止住，说：“何必发那么重的誓言。既然如此，我还有什么不放心的。现在请你率一部分将士到方山去，搜罗你原来的部众，扫清集庆南部外围，配合大部队俟机攻打集庆。”茔先暗喜，心想这不是放我归山吗？他收集余众，进驻板桥（在今江苏江宁镇东北），暗中却勾结防守集庆的元行台御史大夫福寿，密谋合击朱元璋。他写信给朱元璋，谎称带兵攻打集庆台城（在今南京鸡鸣山南乾河沿北），打了个大胜仗，杀死元兵无数。跟着采用缓兵之计，建议朱元璋放一放攻打集庆的计划。信中说：“集庆右环大江，左枕崇岗，三面据水，以山为郭，以江为池，地势险阻，不利步战。昔日西晋王浑、王璿，东晋苏峻、王敦和隋朝贺若弼、韩擒虎、杨素攻占建康，靠的都是水军。现在元军和新召入城的苗军联合一处，连寨30余里，一时难以攻克。时间一久，粮草又成问题。不如向南进攻溧阳，东捣镇江，占据险要之地，切断元军粮道，那样集庆可以不攻自下。”元璋当即识破了他的诡计，他在回信中说：“历代攻克江南，如西晋灭吴，隋平定陈，宋曹彬取南唐，皆因长江天堑隔断南北，才能集会舟师，用水军进攻。现在，我的大军已经渡过长江，据有采石、太平要地，即已跨越了天险，扼住了集庆的咽喉。这样水师多少已不是首要问题，以步骑作战，足可以成功。这种形势与晋、隋时是不一样的。你要建功立业，正在今日，何必舍全胜之策而采用迂回之计呢？”
这等于下令让埜先继续攻打集庆。埜先一计未成，又生一计。他把元将左答纳识里密约至营中，谎称将其生擒，让朱元璋前去受降。元璋没有理会，埜先的阴谋又未得逞。
九月十六日，朱元璋派元帅张天事占、郭天叙率领他们的部下前往，配合陈埜先攻打集庆。十七日，兵抵方山，与陈茔先会师。双方约定，郭天叙和张天祐督兵由官塘经同山进攻集庆东门，陈埜先自板桥直攻南门。从早晨到晌午，几次攻击，都被元兵打退。只好暂停进攻，蓄养锐气。陈茔先预先准备了丰盛的饭食犒军，同时邀张天祐、郭天叙饮宴。待张、郭酒醉，即刻被陈埜先拿下了。张天祐当即被杀，郭天叙解给了福寿，也被处死。张、郭部队猝不及防，遭到陈埜先和城内元军联合夹击，大败而逃。总管赵继祖率军跃马而遁，埜先一路追击，到了溧阳县，方才罢手。陈埜先的反复无常，遭到其它地方武装的痛恨。他在追击红巾军路过金坛县葛仙乡时，当地地主武装头目卢德茂不明真相，听说他降了红巾军，埋下伏兵，把他擒住，不由分说，就砍了他的头。
朱元璋听到张天祐、郭天叙被害的消息，显出异常悲痛的样子，但内心却暗自欢喜。他早已察觉了埜先是假投降，没有惊动他，却派张天祐、郭天叙增援茔先。说是援助，实际上是把他们俩人往虎口里送，朱元璋再也不是皇觉寺里的那个小行僧了。残酷斗争环境的磨炼，已经使他谙于谋略，善于玩弄权术了。张、郭一死，他们的旧部全归朱元璋指挥，朱元璋终于成为这支队伍名副其实的统帅。郭天叙是郭子兴的次子，郭子兴的长子郭大舍已经战死，他还有个三子叫郭天爵，留在朱元璋手下。朱元璋占领集庆后，他被小明王委以江南行中书省右丞之职，因此对朱元璋不满，联络子兴的旧部，意图谋反。事情败露，被杀。
集庆城下之捷，鼓起了蛮子海牙的勇气。他的水师又从江北峪溪口探出头来，建栅寨于采石矶，截断了来往和州的通路，伺机攻击太平。这时将士们的家属仍住在和州，太平、和州的联络被截断，军心不稳。元璋命令造巨舰、石炮，派精兵严加防守。趁年关休战的时机，整队练兵，准备明春的更大战事。
元顺帝至正十六年（公元1356年）二月二十五日，元璋率部同蛮子海牙展开采石争夺战。蛮子海牙的舰队连阵十几里，声势浩大。元璋命常遇春派出一支部队作为疑兵，吸引对方兵力，而后大兵正面交战，又令猛将王铭率一部分敢死队作为奇兵，插入敌后。常遇春正面部队已将敌舰冲分为二，左冲右击，使敌舰互失声援，陷入包围圈里。元璋命令用襄阳大石炮轰击敌人水寨和船队。正午时分，元舰队已垮，蛮子海牙率领残兵败逃集庆，大部船队和万余水军投降。蛮子海牙采石水师的彻底崩溃，为东下集庆解除了后顾之忧。
三月初一，朱元璋在太平会集水陆大军三攻集庆。在集庆城下，攻破陈兆先的大营。陈兆先被俘，所部3万6千多人悉数投降。这些投降的将士不知道朱元璋会怎样处置他们，很恐慌。朱元璋心里明白，这些人不同于埜先的诈降，如何处理将表明他对降卒的立场，影响重大。为消除他们的疑虑，他令亲军统帅冯国用在降军中挑选了500名壮士作为亲兵，入夜后担当自己的宿卫。却将原先的侍卫和亲信全部撤走，只留下冯国用一人陪住。他脱下战袍躺倒不久即酣声大作。500名降军宿卫见此情景，绷紧的神经才松驰下来。第二天，这个消息不胫而走，3万多名降卒的疑惧情绪一扫而尽。这种宿卫方式是元朝怯薛制的翻版。当初，成吉思汗从万户、千户、百户子弟中，抽调万人，组成怯薛军。怯薛为轮番宿卫宫禁。元朝建立以后，怯薛是高级官员的主要来源，官员都以怯薛出身为荣耀。朱元璋利用元军的这种心理，以500名降卒充当宿卫，打消了他们的思想顾虑，表明了对投降元军的态度，也向他们指明了通向日后富贵的道路，更显示了他的气度、谋略和胸襟。
三月初十，向集庆发动总攻。元行台御史大夫福寿督兵死守，无奈将士不力，不几个时辰，城就被攻破。御史大夫福寿、平章阿鲁灰等战死，蛮子海牙等弃城逃走，水塞元帅康茂才等率众投降，共得军民50余万。元璋入城，召集官吏父老士绅百姓，告谕道：“元政无道，兵戈四起，各地混乱。尔等处在危城当中，每日提心吊胆。我率部到此，正是为民除乱。今后，尔等各安职业，不必心怀疑惧。有贤人君子愿意跟从的，我以礼相待。各级官吏都照旧任职，但要勤慎职守，不要殃害我的百姓。旧政不便于民的，我为尔等更除。”随后，善长等人根据元璋的这个告谕，发布安民告示。城内秩序很快恢复。
第二天，朱元璋改集庆路为应天府，表示他得集庆是上应天意。
小明王得到捷报，升朱元璋为枢密院同佥，李善长为经历。不久，又任命朱元璋为江南等处行中书省平章政事，李善长为左右司郎中，以下诸将皆升元帅。于是，朱元璋在应天设立江南等处行中书省，以元朝御史台府第作为公府。
朱元璋北面是小明王的宋政权，刘福通的三路北伐，吸引了元军主力，使其腾不出手来对付朱元璋。而他西面的徐寿辉，东面的张士诚，又都在与元军作战，无形中为元璋构成了三面屏障，把元军主力挡在了外面，朱元璋是安全的。但他的势力范围很有限。他的根据地以应天为中心，西北至滁州，西南到和州，东南延伸到句容、溧阳，南面仅达芜湖。相比之下，地盘狭小，兵力不强。朱元璋名义上是宋政权属下一员战将，但与徐寿辉、张士诚互不统辖。大敌当前，他们都会全力与元军作战；但外患稍逝，他们就会为发展自己的势力，互相吞并。朱元璋明白，要想立稳脚跟，必须向外发展，以实力作为坚强的保证，而这时正是出击的有利时机。
龙凤二年三月，朱元璋占领应天后，立即命徐达为大将军，率领汤和、张德麟、廖永安统军进攻镇江。镇江为应天东面的门户，也是长江下游的军事重镇，在元军手中。此时，元璋最担心的不是战斗而是军纪的问题。军纪的好坏影响到队伍的形象，而且事关能否安定社会，争取民心。朱元璋与李善长、徐达商量后，决定共同上演一出戏。三月十二日，召集全军将士训话。在讲了严明军纪的道理和历次军令之后，元璋历数一些将领杀戮抢劫的罪过，随即把脸一沉说，全部拉出去砍了。将领们一个个面无人色，一齐跪地叩头。这时，善长才出面求情。元璋也就顺水推舟，说道：“看在诸将和李都事的面上，罪过权且记下。你们知道，我自起兵以来，从未妄杀过一人。你们往后行军打仗，断不可再滥杀滥抢，糟践百姓。徐达等人马上要带兵攻打镇江，你们一定要很好地体谅我的用意，严格戒谕士卒。城下之日，不得烧掠，不得随意杀人，违者，处以军令。倘使你们约束不严，我决不宽恕！”将士们哪个还敢作声，连大将徐达都战战兢兢，连忙说：“一定听从命令。”三月十六日，徐达、汤和、廖永安等率队浩浩荡荡地出发了，第二天就拿下了镇江。徐达等自仁和门开进，“号令严肃，城中晏然，民不知有兵”。接着又攻下金坛，丹阳等县，在应天的东面筑起了一道屏障。
六月，朱元璋命邓愈攻占了应天东南的广德，改广德路为广兴府，设置广兴翼行军元帅府，以邓愈为元帅。
七月初一，小明王置江南行中书省，命朱元璋为中书省平章政事、右丞相、吴国公，以元朝的御史台为公府。元璋从此正式建立了政权机构。以李善长、宋思颜为行中书省参议，李梦庚、郭景祥为左右郎中，侯原善、杨原果、陶安、阮弘道为员外郎，孔克仁、陈养吾、王恺为都事。王琦为照磨，乐风为管勾，夏煜、韩子鲁、孙炎为博士，又置江南行枢密院，以徐达、汤和为行枢密院同佥。置帐前总制亲兵都指挥使司，以冯国用为都指挥使。置前、后、左、右、中五翼元帅府，以华云龙、唐胜宗、陆仲亨、邓愈、陈兆先、张彪、王玉、陈本等为元帅。又置镇抚司、提刑按察司、兵马指挥司、理问所、负责稽察、监察、司法。设置营田司、负责屯田、农事等。这样，行政、军政、司法等机构就大体完备了。
朱元璋以应天府为根据地，拥有集庆路、太平路、镇江路、广德路等江南地面，十几万军队，成为江南很有实力的割据政权。此时，在朱元璋的上游有徐寿辉，下游有张士诚，宁波、临海沿海一带有方国珍，江南其他地区仍为元朝所有。江北则有韩林儿、刘福通的大部队牵制着元朝主力，这使得南方农民军敢放胆蚕食元属领地，并在彼此之间展开厮杀与兼并。
