御史中丞宇文融过去因为上书在州县设复田劝农使之事，与张说当廷力争，从此二人生隙，以至于自那以后，宇文融每有动议，张说就当廷驳斥，由此，二人之间的矛盾越闹越大。于是，宇文融时时准备抓住张说的小辫子，在李隆基面前对张说做致命一击。
中书舍人张九龄对张说说，宇文融承恩用事，多诡辩，善权术。劝张说对此人多加防备。而张说却对宇文融依然不屑一顾。
开元十四年（726）四月，李隆基在宫廷召集朝中五品以上官员聚宴，当他看到张说的女婿郑镒在座时，感到相当震惊。因为郑镒在一年之前，还只是个朝廷工部的九品小吏，他有何德何能官晋五品？
于是，李隆基找源乾曜、宇文融查问。
宇文融借机向李隆基讲说了事情的原委。原来，张说作为封禅使，将自己的女婿安排到泰山去负责修筑寺庙和道院。后来，李隆基泰山封禅，张说奏请将跟随李隆基登山的朝廷官员尽皆官晋五品。此事经李隆基恩准之后，郑镒因为跟随李隆基一起登山，并且也是朝廷官员，自然就堂而皇之地被晋升成了朝中的五品官员。李隆基知道了事情的原委之后，感到相当愤怒。虽然将跟随登山封禅的朝廷官员全部晋升到五品以上，是经过自己恩准同意了的，但是，李隆基没想到，张说竟会明目张胆地借此将自己的女婿郑镒也晋升成了朝中的五品官员，他感到自己受到了张说的欺骗和蒙蔽。于是，当即指示御史台对张说进行查办。
随之，御史大夫崔隐甫、御史中丞宇文融、御史中丞李林甫一起向李隆基联名上奏，以“引术士占星，徇私僭侈，受纳贿赂”三项罪名弹劾张说。接到御史台的弹劾呈奏，李隆基随即敕令宰相源乾曜带领刑部尚书韦抗、大理寺少卿明珪和御史大夫崔隐甫在御史台共同拘审张说。拘审的结果是，宇文融等所列举的张说的罪状，多属事实。
因为张说过去毕竟是李隆基的侍读老师，将张说羁捕入狱之后，李隆基派内侍高力士前去狱中看望张说，高力士从狱中看望之后，回来对李隆基说：“说蓬首垢面，席藁，食以瓦器，惶惧待罪。”
听高力士说完，李隆基面露怜悯之色。于是，高力士以张说曾有功于国为由，劝说李隆基对张说从轻发落。
李隆基觉得高力士说得有道理，于是下令罢黜张说的中书令职务，然后将张说免罪释放。随之，中书舍人张九龄也因为受到张说这件事的牵连，被调离中书省，只让他做个管些祭祀之事的太常寺少卿。
张说的罢相入狱，使孟浩然通过张说举荐向朝廷献赋求仕的希望完全化作了泡影。
希望的破灭对任何人而言，都无疑是极为残酷的。从满怀期盼到失望灰心，再到希望破灭，现实仿佛一把雪亮的利刃，把孟浩然不断蒙受煎熬的内心划开了一道流血的口子。
然而，面对现实，孟浩然除了自舔伤口之外，又能做些什么呢？
孟浩然内心的黯然和伤楚，只有寓居在洛阳的王维最知道。
王维无事的时候，便来白社看他，这让孟浩然非常凄苦的内心稍稍得到了一丝慰藉。孟浩然和王维，两位年龄相差十二岁的诗人，在他们各自仕途不顺之时，建立起了真挚深厚的情谊。
时间转眼到了五月，适值与孟浩然、张九龄、王维都有结交的包融休沐放假。包融在洛阳城外的洛水河边上，建有一座私家园宅，便邀请众多的文人学士在此聚宴，孟浩然也在应邀之列。
包融，润州延陵（今江苏丹阳）人，与于休烈、贺朝、万齐融为“文词之友”，在开元初即负才名，与贺知章、张旭、张若虚，号“吴中四士”。
正值自己落寞之时，对于参加文人学士们宴饮聚会这样的事，孟浩然是非常乐意的，一来可以四处走走看看，游览散心；二来可以和文人学士们畅叙心怀，排解心愁。
孟浩然乘坐的马车一路颠簸着，在入夏的原野上飞奔了十几里地之后，终于在水光潋滟、清波粼粼的洛水河边停了下来。孟浩然走下马车，只见在清清的洛水河畔，一片葱郁的竹林与清清碧水争绿竞翠，相互掩映。几只鸟雀翻飞林间，啁啾脆鸣，衬得偌大一片竹林，愈显幽静。这片青翠的竹林与左右大野相接，寥寥的几间屋舍错落在林竹之间。望着眼前清幽静美的景色，不禁让他想到了自己的家园——涧南园。离开家乡到洛阳来一年多了，洛阳虽然繁华，可是在这里，自己却找不到一片立足之地。在孟浩然的感觉里，家乡永远是那样的美好而亲切。那里有美丽清澈的宽阔的汉江，有青苍碧翠的绵延的岘山，还有自家如诗如画的涧南园。包融的园宅虽然也是田园清幽，但是，这里是一片开阔的平原，缺少了山的依偎和衬映，眼前这条缓缓流淌的洛水河，和自家门前蜿蜒流淌的襄水河相比，似乎缺少了柔媚和灵气。
孟浩然下车之后，刚刚在竹林下站定，包融就一脸热情地迎了上来，他一边寒暄，一边十分高兴地挽着孟浩然的胳膊，二人相携着，往竹林深处的园宅走去。
竹园的凉亭里已经来了不少人，孟浩然一看，被邀前来的，都是些从洛阳城内远道而来自己比较熟悉的客人，在座的众人见孟浩然与包融相携前来，各自起身相迎，互致寒暄。
凉亭内，丰盛的酒宴已经摆上了。众人落座之后，大家说笑逗吟，开怀畅饮。推杯换盏间，包融向浩然谈到自己的家乡润州延陵，这让浩然不禁想到了曾在晋陵做过县尉的张子容。晋陵与延陵毗连，只可惜他现在已经被贬到温州的乐城去了。
众人边饮边谈，边谈边饮，越来越有兴致。由于入夏天热，众人索性解开胸衣，开襟对饮，直到夕阳西下、暮色渐浓、栖鸟归林时，方才散去。
孟浩然日日闲居，觉得自己就这样空滞洛阳，一事无成，实在是没有什么意思。可是，难道就这样回襄阳去吗？自己到洛阳这一年多，花了家里那么多钱，却在这里一无所获，如果就这样回去，连个托词都没有，这让孟浩然觉得，自己实在是归乡无颜。
听包融说，吴越之地，山水旖旎，风景奇秀，自己何不泛舟湖海，一可拜访张子容、崔国辅这些故知好友，二可饱览吴越山水物华之胜，如此也算收获。这样的思路一经形成，便在孟浩然的脑海里挥之不去。
适逢孟浩然在洛阳结识的友人奚三欲动身回家乡扬州去，孟浩然前去送行，他向奚三说到自己已有前往吴越的打算。奚三知道了孟浩然的想法，于是，欣然邀请浩然日后前往吴越之地时，一定要到扬州去看他，孟浩然十分高兴地答应了下来。
开元十四年（726）夏秋之交，孟浩然在洛阳对张说、贺知章、袁仁敬、张九龄、包融这些官宦学儒之士逐一登门拜谢，张说虽然对孟浩然的才华十分赏识，但是，无奈自己已经下野被贬，在李隆基那里，也帮孟浩然说不了什么话，只得空自遗憾。
拜谢完各位公卿之后，孟浩然与王维诸友人在洛阳挥泪作别。
在离开洛阳之际，孟浩然满是惆怅地赋诗《自洛之越》一首，以此向世人表达他既很复杂、又很无奈的一腔思绪：
自洛之越
遑遑三十载，书剑两无成。
山水寻吴越，风尘厌洛京。
扁舟泛湖海，长揖谢公卿。
且乐杯中物，谁论世上名。
前往吴越，路途漫漫。
离开洛阳之后，孟浩然坐船经洛水入黄河，经过几日行程之后，来到古城汴州（今河南开封）。孟浩然下船在汴州游赏几日，然后自汴州登船，沿汴水逆水往东南而行，适值西风正劲，航船扬帆借风前行，数日之后来到谯县（今安徽亳州），孟浩然在谯县下船之后，寻访在洛阳时结识的友人张主簿和申屠少府，向二人表达了他由此前往吴地，是打算像东汉时的梁鸿一样，不求仕进，日后去做个隐士。
梁鸿，字伯鸾，虽家贫而好学，然不求仕进，与妻孟光偕隐霸陵山中，以耕织为业。梁鸿以咏诗、弹琴自娱。后来他前往吴地，不仕而卒。
像先贤一样不仕而隐，寻迹山水，为孟浩然的吴越之行，找到了最好的理由。
孟浩然在谯县住过几日之后，改由涣水乘船顺流而下，这日天晚时分来到临涣（今安徽濉溪），临涣县令裴明府见浩然前来相寻，十分高兴，请来张十一、房六几位当地的才子作陪，晚宴上，孟浩然与众人推杯换盏，气氛很是热烈。
孟浩然在临涣住过一宿，第二天一早，便登船自涣水顺流直下，经过几日行程，进入淮河。时值初秋，西风正劲，孟浩然乘坐的江船满鼓着风帆，破浪前行。江船在淮河上行走几日之后，这天天晚时，由于水上的风浪太大，船家便提早将船在一个河湾里停了下来。孟浩然站在船头举目远眺，只见前面水势宽阔，风逐浪涌的湖面一望无垠。孟浩然不知道自己已经到了哪里，也不知道从这里前往扬州还有多远。于是，他到船尾找掌舵的艄公相问，船工告诉他，这里是洪泽湖，还要经高邮湖，才能到扬州去。
孟浩然乘坐江船一路穿江过湖，经过几日之后，来到扬州寻访在洛阳拜别的友人奚三，在扬州留住几日之后，孟浩然在扬州与友人告别，沿大运河登舟南去。
这天傍晚，孟浩然站在船甲板上放眼远望，只见前面波翻浪涌，水天茫茫。孟浩然在心里暗暗地想，这前面水天相连之处，怕不该就是长江了吧！怀着一丝无比的兴奋和激动，前去问询船家，船家告诉他，前面就是长江，但是，行船的人大都叫它扬子江。
天空阴沉沉的，看上去，雨就像要从云中滴下来的样子，阴冷的秋风呼呼地扑卷在江面上，站在船头的孟浩然，感觉到身上似有阵阵寒意。望着眼前风呼浪卷的扬子江，孟浩然知道，今晚船家是不可能会过长江去的了。
孟浩然无限怅惘地站在船头，目光久久地凝视着沉沉暮色中白浪翻卷、烟雨迷蒙的滚滚长江，他心如浪涌。
北风还在呼呼地刮个不停，江边层层涌起的浪花不停地拍打着船舷。孟浩然站在船头，他下意识地裹了裹有些单薄的衣衫，感觉到身上瑟瑟的有些冷。已近中秋时节，本该是在襄阳与家人团聚，而自己却如同孤雁只身万里，漂泊吴地，不知不觉间，一股乡思幽情袭上心来。然而，归帆远在天际，自己前路缥缈，如同江上暮色漫漫。望着眼前的景色，遥想家乡万里，孟浩然凄苦的心境，只有用自己的诗来表达：
早寒江上有怀
木落雁南度，北风江上寒。
我家襄水曲，遥隔楚云端。
乡泪客中尽，归帆天际看。
迷津欲有问，平海夕漫漫。
暮色渐渐地沉了下来，孟浩然想到这次来到吴地，要去润州长山相寻刘隐士，自己既然是要去找他，也该提前给他个讯息，也免得自己找他时，他却不在。
于是，孟浩然宿住在扬子津的船上，为润州长山的刘隐士修书一封，给他寄去。
第二天一早，已经在路途之上颠簸了一个多月的孟浩然，终于可以渡江南去。过了眼前这条波涛翻涌的长江，前面就是他梦寐以求的江南水乡了。
时值八月中秋，由于北方的寒流提前到来，江上秋风生寒，孟浩然站在船头，他看见扬子驿边的码头越离越远，而大江之南的北固山下，市井繁华的润州城依稀可见。一阵清寒的晨风吹过孟浩然清癯消瘦的脸颊，让他不由得心生一丝愁意。孟浩然举目南眺，他看见那北固山上的枫叶火红一片。孟浩然的双眸一眨不眨地望着北固山上那火红连片的枫叶，他仿佛看到了那火红火红的叶子，正在这渐渐凄冷的秋风之中，飘落凋零，瑟瑟而下。感物伤怀，孟浩然赋诗一首：
渡扬子江
桂楫中流望，京江两畔明。
林开扬子驿，山出润州城。
海尽边阴静，江寒朔吹生。
更闻枫叶下，淅沥度秋声。
江船满鼓着风帆，横过长江而去，远处的北固山近了，远处的润州城近了。让孟浩然曾经魂牵梦绕的江南水乡，已经真实地展现在了他的眼前。
