先前，李隆基在做临淄王的时候，赵丽妃深得宠爱，为李隆基生下了太子李瑛。后来李隆基称帝之后，因为有了姣美可人的武惠妃，赵丽妃便备受冷落。后来，武惠妃生下了寿王李瑁，于是，李隆基对武惠妃母子更加恩宠。
太子李瑛把鄂王李瑶、光王李琚叫到东宫，向他们大发牢骚，痛骂武惠妃在皇上面前争宠，让自己的母亲备受冷落。没想到这件事很快便传了出去。
武惠妃哭闹着跑到李隆基这里来告状说道：“皇上，我们母子怕是活不成了。太子阴结私党，要谋害我们母子。他还当着别人的面痛斥您的不是呢。”
李隆基一听，大为恼怒。他紧急差人把张九龄、裴耀卿和李林甫三人召入宫禁，打算废掉李瑛的太子之位，同时责罚李瑶、李琚。
张九龄听明事情的原委之后，对李隆基说：“陛下登上帝位已经快三十年了，而太子从来都没离开过深宫，他每天都在接受皇上的训诫，又能做出什么出格的事呢？现在太子已经长大成人了，陛下为什么要去听信那些无稽之谈，以自己一时的喜怒，就要把他废掉呢？再说，太子是天下未来之所系，不可轻易言废。春秋时，晋献公听信骊姬之谗言，杀掉了太子申生，结果引起晋国三世大乱；晋惠帝因为听信贾后的诬陷废掉了愍怀太子，结果招致五胡乱华，中原涂炭；隋文帝听从独孤皇后之言，废太子勇而立炀帝，结果失去了天下。由此观之，废立太子，事关社稷兴衰，不可不慎。陛下若必欲为此，臣不敢奉诏。”
听张九龄说完，李隆基虽是满脸不悦，却也没有多说什么，废立太子之事就这样被搁置了起来。
其实，李林甫早就和武惠妃、高力士几人串通一气，密谋废立太子，此时见废黜太子李瑛之事就此被搁置下来，李林甫对高力士说：“废立太子，这是皇上家里的事，皇上想废谁就废谁，想立谁就立谁，何必还要去问张九龄这样一个外人呢。”
高力士自然很快就把李林甫的话传到了李隆基那里，李隆基听了，在心里对张九龄愈加恼怒。
由于李林甫一有机会，就在李隆基面前说张九龄的坏话，造成李隆基对张九龄越来越见疏远。
张九龄与严挺之关系密切，打算把严挺之引荐为宰相，于是对严挺之说：“李林甫现在颇受皇上器重，我看你还是找个机会到他府上登门去拜访一趟，先跟他搞好关系。”
严挺之身为文儒之士，素来看不惯李林甫的那副小人之相，于是根本就没有到李林甫的府上去。李林甫听说此事，对严挺之恨之入骨。
严挺之先前的妻子被休掉之后，改嫁给了蔚州刺史王元琰，结果王元琰因为贪赃受贿的罪名被羁入京师，进行三司会审。严挺之受前妻之托跑去为王元琰说情，结果被李林甫抓住了把柄，一下子告到了李隆基那里。
李隆基问张九龄，严挺之竟敢找人为罪人开脱说情，该怎么来处置他？
张九龄为严挺之辩解道：“皇上，这王元琰娶的是严挺之休掉的妻子，严挺之怎么可能会去为他说情呢？”
李隆基见张九龄又公然顶撞自己，再也无法容忍下去了，他大声向张九龄说道：“人虽离，可情犹在。谁能说离了婚之后，就再也没有一点儿私情了？”
张九龄走后，李隆基心潮难平，回想起往日与张九龄、裴耀卿这两位宰相之间的恩恩怨怨，感到忍无可忍，于是，他当即决定，就此罢黜张九龄、裴耀卿二人的宰相之位。
时近岁末，张九龄、裴耀卿皆被罢黜宰相之位，张九龄被贬为尚书右丞相，裴耀卿被贬为尚书左丞相。之后，李隆基让李林甫兼任中书令之职，同时擢拔牛仙客为工部尚书，同中书门下三品。于是，目不知书的牛仙客从一员边关战将，一跃成为一国之相。
牛仙客不学无术，只是被李林甫一手提携升迁，所以，他对李林甫自是感恩戴德，唯唯诺诺。由此，大唐王朝开始进入到李林甫一手专权之世。
开元二十五年（737）四月，监察御史周子谅以牛仙客不具宰相之才，引用民间谶语，上书弹劾牛仙客。同时，他又私下里对御史大夫李适之说：“牛仙客不才，滥登相位，大夫国之懿亲，岂得坐观其事？”
李适之如实把周子谅的话告知李隆基，李隆基没想到周子谅一个小小的监察御史，胆敢在明里暗里干预起国家大事。李隆基大为恼怒，下令将周子谅在朝堂上打了个半死，然后，流放瀼州。
事后，李林甫对李隆基说，这周子谅能做监察御史，乃是受张九龄所荐。今周子谅胆敢上书弹劾宰相，当是受了张九龄的指使才是。
李隆基一听，心里更是愤愤不平，他没想到，张九龄纵然被罢了宰相，却依然还在暗中跟自己作对，于是下旨，将张九龄贬出京师。
一代名相张九龄于开元二十五年四月再次被李隆基罢黜尚书右丞相之职，出为荆州大都督府长史。
张九龄坐着马车，一路往东南而行，途经襄阳时，已是五月。
山南东道采访使兼襄州刺史宋鼎听说张九龄途经襄阳，自是盛情相迎，他亲自过江到汉江之北，把张九龄接到襄州州府，并且摆下宴席，为张九龄接风洗尘。
宋鼎和张九龄的关系非常友好，他熟知张九龄与孟浩然、卢象的关系也非同一般，所以，邀孟浩然和卢象一同入宴作陪。
酒宴之上，孟浩然得知张九龄被罢相之后，一贬再贬，他为好友遭逢的如此境遇感到心情沉重。而张九龄也在与孟浩然的杯觥交错中，得知孟浩然闲居乡野，每日种瓜种菜、灌蔬艺竹，聊度终日，不免心下遗憾。
第二天，张九龄就要动身往荆州去了。宋鼎、孟浩然和卢象都来为他送行。张九龄的马车来到岘山垭上，他下了车，和众人一起来到岘首山上，登顶而立，放眼远眺，只见远远近近的淡淡晨雾，如同一层裹掖少女玉体的青纱，静静地流溢在苍苍茫茫的汉江两岸，轻雾迷蒙间，汉江北岸的樊城依稀可见。
立于岘首山巅，张九龄思绪翻飞，感慨万端。联想到自己迁贬荣辱的身世际遇，一怀愁绪，不由得袭上心来。
张九龄向孟浩然问起他以后的打算，已经年近五十的孟浩然，此时已经心系山野，情归田园，仕途在他眼里已经不再光艳夺目，弋钓草野、寻幽觅趣成了他心中的一份向往和追求。
一贬再贬，本就让张九龄感到心灰意冷，被逐出京城，更是让张九龄情何以堪。
心情落寞的张九龄看到孟浩然的行山乐水，似乎找到了自己寻求解脱的出口。于是，他邀请孟浩然到荆州去陪他一起游山赏水，尽览荆州的山水风光。孟浩然自是欣然接受，决定一等张九龄在荆州将事务处理妥当，就动身前往。
张九龄走后，孟浩然整日只顾忙园里地里的农事。这天，卢象亲自骑着快马跑到涧南园来，说宋鼎请他到城里去一趟，孟浩然因为有农事正忙，推辞不去，卢象只说宋鼎找他有要事相商。孟浩然不知何事，只得骑着自家的毛驴，和卢象一起往襄阳城里去。
在路上，孟浩然得知宋鼎请他进城，是因为在襄阳城北的临汉门城墙上新修了一座亭子，于是特意邀请他前往游赏庆贺。
孟浩然得知是这件事，调转毛驴就要往回走，根本不想参加这样的活动，卢象赶忙拦住他。经过好一番劝说，孟浩然才极不情愿地往城北而去。
日近黄昏之时，孟浩然登上北楼新亭，宋鼎见孟浩然前来，自是欣喜无比，将浩然安排在与他同桌的首席，其时暮色初上，众人推杯换盏，一片喜庆。孟浩然在酒宴之上，吟诗一首：
和宋大使北楼新亭
返耕意未遂，日夕登城隅。
谁道山林近，坐为符竹拘。
丽谯非改作，轩槛是新图。
远水自嶓冢，长云吞具区。
愿随江燕贺，羞逐府僚趋。
欲识狂歌者，丘园一竖儒。
就在北楼新亭落成之后不久，宋鼎因为受到奸相李林甫的排挤，从襄阳被贬迁到汉阳。
转眼已是入秋。孟浩然在南山坡的橘园里看着满园黄澄澄的橘子，在心里盘算着，等卖完了山坡上的这些橘子，自己便可以往荆州找张九龄去了。由于之前几次外出的花费，孟浩然已经卖掉了自己名下的不少田地，现在写在自己名下的，也就只有山坡上的橘树、桃树和南山坡下的十几亩菜园和坡地。菜园和坡地里的农事，可以交由洗然找人帮着操持，自己也没有什么不放心的。要说真有让自己不放心的事，那就是已经年迈的母亲。
自从与弟弟洗然分家之后，母亲就一直跟着弟弟一家在涧南园的老宅里居住，记在洗然名下的田地还有不少，但是，洗然现在也都是做爷爷的人了，几个子女长大之后，都已成家，一个个拉家带口的，所以，弟弟洗然一家也过得并不宽裕。
本来，靠涧南园里的这片坡地和果园，供养孟浩然自己的生活绰绰有余，但是，孟浩然喜好游山赏水，结识友人甚多，遇到别人有个什么难处，又总是出手大方，所以，仅仅靠涧南园里这片果园和坡地的收成，浩然常常是捉襟见肘，手头拮据，有时喝酒都还要找村上的店家赊欠。尽管别人觉得他很落魄，但他自己却不以为然。
恰在这时，张子容又回襄阳来了。
张子容这次回乡，是因为他已经被朝廷擢升为礼部郎中，可谓是衣锦还乡。
得知好友张子容擢升的消息，孟浩然自是高兴，但在高兴之余，心里也难免有些惆怅。
张子容衣锦还乡几日后，便在张家的海园大宴宾客。作为襄阳县令的卢象自在张子容的邀请之列。
酒筵过后，孟浩然与张子容、卢象同游海园，三人猜字赋诗，结果卢象率先猜到一个“秋”字。于是，卢象以“秋”字作结，赋诗一首：
早秋宴张郎中海园即事，得秋字
邑有弦歌宰，翔鸾狎野鸥。
眷言华省旧，暂拂海池游。
郁岛藏深竹，前溪对舞楼。
更闻书即事，云物是清秋。
卢象赋诗完毕，轮到孟浩然猜字，结果浩然一口便猜出一个“珠”字，于是，他以“珠”字作结赋诗一首：
同卢明府早秋宴张郎中海亭
侧听弦歌宰，文书游夏徒。
故园欣赏竹，为邑幸来苏。
华省曾联事，仙舟复与俱。
欲知临泛久，荷露渐成珠。
三人一边游赏海园，一边猜字赋诗，玩得好不尽兴。
张子容在海园大宴宾客后不久，又接到朝廷将他从礼部郎中迁升为义王府司马的诏令。这义王府司马可是比礼部郎中要强多了，于是，卢象摆下酒筵，为步步升迁的张子容饯行。看到昔日知己官运亨通，孟浩然也打心眼里为他高兴。
送走张子容之后，已是暮秋时节，涧南园里的农事收割已经完毕，孟浩然决定前往荆州看望自己的故交知己——下野宰相张九龄。
正好，友人王迥也打算前往江左，于是，二人结伴自襄阳出发，沿汉江顺流而下，前往武昌。
