曾国藩办湘军最大的难题莫过于军饷了，数万人马，天天都要吃饭，常言道“兵马未动，粮草先行”，可是湘军却得不到国家的正当供饷，况且曾国藩规定的军饷标准还很高。
初办湘军之时，招募军队无饷可供。曾专派郭嵩焘回籍筹借军饷，又赖衡州知府借给他10万两准备修城墙的钱，后来打了湘潭第一次胜仗，10万借款才由湖南藩库报销。
当时，武汉形势吃紧，朝廷连番下旨让他自湖南出援武汉，他迟迟未动。其中原因主要是皇帝命他率兵千里迢迢，援救湖北，而且一路征战，竟未提军饷自何而出。没有军饷如何出征？他让人各处求助，恳求商绅捐资，犹如泥牛入海，毫无消息。
恰在此时，有个在籍户部候补员外郎杨江要求捐助。曾国藩闻讯自然高兴，但杨江提出个条件，让曾国藩代他上奏皇帝，准许为其祖父在原籍衡阳建乡贤祠。曾国藩是了解其中原委的；杨江的祖父杨键是湖北巡抚，道光二十五年(1845年)病死。死后其家属便活动地方官入奏道光，请求建乡贤祠。而有人反映，杨键官声很坏，有严重的贪污、受贿行为。道光帝闻奏，不仅未允其入祠，且把上奏请入祠的地方官臭骂了一顿。这件事闹得轰动京城，曾国藩时任职詹事府，熟知此事，曾为杨家而不耻。如今，为了军饷问题，要亲自出面为一个贪官申请入乡贤祠，一是不合儒家道德规范，再是要冒风险，弄不好自己要背上恶名。可是，为了军饷所逼，曾国藩竟同意为杨键写了奏折。
奏折封送之后，杨江当即捐助两万白银，还说等皇帝批复后再捐5万两。杨江带头捐款，其他官绅也不能旁观，一下子捐了10万余两。这点钱虽不多，但总算解了燃眉之急。
谁知湘军初战不利，在“东征”的途中吃了败仗，退回长沙。吃败仗是个打击，长沙官绅齐骂曾国藩无用，使他抬不起头，而雪上加霜的是，咸丰帝看了曾国藩请杨键入乡贤祠的奏折，下旨申斥他，还降了他两级官衔。
咸丰四年八月(1854年10月)，湘军侥幸攻克武昌，占领武汉三镇。曾国藩以为该是喘口气的时候了，他上奏咸丰，要求巩固湖北，徐图东进。其中理由之一，是好好解决一下湘军的供给，待到兵精粮足之时，再东下长沙，好好与太平军打几仗。但是，咸丰不管这一套，逼令他立即东进。当时新占武汉，正是得胜之师，在武汉总算凑备了“东征”的军饷，接着取得田家镇大捷。咸丰再令他继续东进，攻九江，取南京。
田家镇一战，虽然取得不小的胜利，但湘军损失很大。曾国藩要为战死的官兵发恤银、为有功的官兵发赏银，加上战争消耗，从武汉带来的银子花得精光。马上又要“东征”，军饷又成了大问题。他向咸丰帝请求发饷，咸丰下旨让陕西巡抚王庆云解银14万两，江西巡抚陈启迈解银8万两。然而，曾国藩等了许久也不见银子汇到，甚至连个回音都没有。
就在这时，郭嵩焘提出江北大营在扬州仙女庙抽厘金助军饷的事，请求曾国藩也仿效办理，在军过之处向商贾抽厘，以助湘军作战。当时曾国藩不知抽厘的办法，郭嵩焘说：“江北大营也缺军饷，有左都御史雷以到扬州助军，想出了一个筹饷的办法：仿照汉朝算缗之法，对商贾征厘税，值百抽一，称作‘厘金’，居然顺利抽得大量银两，解决了江北大营的军饷。”
到底湘军办不办厘金？曾国藩令大家充分发表意见。刘蓉说，听说苏北办的厘金，到处设关，关卡林立；处处抽厘，各为百金抽一，连续勒抽，往往抽之过半，弄得商民怨声载道。湖南、湖北、江西连年征战，百姓已被敲骨吸髓，若再强抽厘金，就没有活路了。
但郭嵩焘认为苏北办理不善，是混进了坏人，我们可以作为借鉴，认真办理。
其他人意见不一致，但用饷急迫，对抽厘之事坚决反对的却不多。曾国藩见众人的意见趋于一致了，便让郭嵩焘去湖南与骆秉章商量，利用“东征局”的名誉，先在长江、湘潭、益阳、岳州、常德、衡州6处试行。若是可行，就认真实行，颗颗铜子都要有交待，莫对不起三湘父老；若不可行，立即停止。
湖南的厘金尚未办妥，江西战场便发生所料不及的大战。九江攻不下来，湖口打了大败仗，江外水师全部瓦解，湘军受到了前所未有的巨大损失。随后，太平军攻占了江西大部分地区，曾国藩遇到了太大的困难！水师要重建，陆师要大幅度调整，还要随时准备与石达开打大仗。曾国藩最发愁的还是军饷，还是银子！他没有办法得到，只得向江西巡抚陈启迈伸手要，尽管前次碰了壁，但曾国藩认为，前次是在湖北，这次是在江西，完全是为江西的失地与太平军作战，谅他陈启迈不会置之不理。可曾国藩想错了，陈启迈不仅分文不给，还大造其谣，他在江西官员中散布：曾国藩的湘军打仗发了财，湘乡、平江、新宁肥的流油，只要家里出个湘勇，全家都不要做事，银子花不完。湘乡的田地没有买的，都买到外省外县去了，皇帝的银子运到了曾国藩家，皇帝都没钱了，我们哪得钱给他。曾国藩听了这些谣言十分气恼。
正在曾国藩又气又急之时，江西万载县举人彭寿颐向他建议，在江西筹银有办法：一是劝捐，目前在籍刑部侍郎黄赞汤黄大人在籍守制，极赞扬湘军的抗敌义举和曾大人您的行为，他若出面劝捐，一定奏效。自己也可以去好友之处，以大人之德，向同乡、同窗们募捐。再是可以在江西就地设厘局，抽厘助饷。
曾国藩赞扬彭寿颐的行为，募捐之事立即去办，抽厘之事容再商量。
经过活动，果然先得了一笔银子。黄赞汤出面大力张罗，在乡绅之中很快募得白银10万两，彭寿颐竟也募来3万两，这真是雪中送炭。
设厘局之事，经过商量也搞了起来。曾国藩让彭寿颐负责，在南康设总局，在各县设了十几个关卡，出手便抽得数千厘金，曾国藩甚是高兴，以为这下子军饷有指望了。
然而好景不长，曾国藩设厘局用了彭寿颐，彭是江西地方人，江西巡抚陈启迈以为这是越权用人；江西地面不归曾国藩管辖，他有何权在这里设厘局抽厘金？于是，陈启迈煽动地方，与曾国藩对抗。不久，湘军的厘局在抽厘时，查到了地方官走私鸦片，厘局扣了地方官的走私船，地方官又向陈启迈告状，双方便闹了起来。可陈启迈不问曲直，批令地方官封了曾国藩的厘局，还把彭寿颐捆绑入狱。事情闹得非要曾国藩出面不可了，曾国藩率刘蓉等幕僚，到出事地点调查，查出了地方官私卖鸦片的确证。在忍无可忍之下，向咸丰上奏参了自己的同乡同年陈启迈。参奏的内容也是他调查来的，如陈启迈曾为已革职总兵赵如春冒功请赏，曾为奉旨正法的守备吴锡光虚报过战功。这两条是地方官常干的事；地方大吏，明明打了败仗可以说打了胜仗，逃将可以说成功臣。只要不出大娄子，即使皇帝知道了也不会怎么样。曾国藩还告陈启迈并不认真安排战守，丢了江西的8府54州县。又告他阻挠破坏湘军作战，捆绑逮捕办团有功举人彭寿颐，纵容地方官私运鸦片。
曾国藩的奏折上达后，其中丢了江西大部分土地给太平军一节打动了咸丰帝，他本来就恼恨太平军在江西搅得心神不安，怪罪陈启迈没有守住江西。因而准了曾国藩的弹劾，一下子把陈启迈罢了官。
然而，去了陈启迈，来了文俊，曾国藩在江西的军饷问题仍未解决。为了军饷，使他的一军全军覆没；为了军饷，文俊害死了湘军大将毕金科。以后的日子，仍靠“讨饭”维持。多亏黄赞汤一人先后为湘军筹捐百余万两，刘于淳、甘晋等士绅也极力帮他筹措，才勉强维持住，使湘军没被困垮而已。
正在曾国藩极度困难和苦恼之时，突然接到其父曾麟书于咸丰七年二月四日(1857年2月27日)去世的讣告。闻此噩耗，曾国藩反而感到是摆脱困境的天赐良机，立即向咸丰帝陈报丁忧，并要求开缺守制。他不等谕旨允准，便与弟弟曾国华自江西奔丧返乡。在陈情奏折中，除以孝道为由，坚决要求开缺外，还说此时返乡守制并不影响大局，因为自咸丰六年(1856年)秋，太平军内部发生内讧，使整个战局发生了逆转。在江西方面，湘军逐步夺回了被太平军占领的广大地区。武汉也被胡林翼和李续宾攻克，湖北绿林军和李续宾湘军联合东下，长江上游沿江城镇又被夺了回来，大军来到江西，与曾国藩湘军一部又包围了九江，江西的吉安、瑞州等要地虽还在太平军手中，但也都被湘军包围了。所以，曾国藩说，此时返乡，把军队交待给部下，同自己未离去是一回事。
曾国藩到家多日才收到从江西转来的皇帝的批复：只准他3个月假，不允开缺。3个月假满之前，咸丰下旨命他立即返回江西军营。曾国藩再次上奏，要求给假3年，在这个奏折中，他向咸丰表白了不愿再回军营的理由。他说：自古带兵者从未有他的困难大，领兵打仗却没有军权，自己“虽居兵部堂官之位，而事权反不如提镇”。湘军虽负担了两湖、江西的抗敌重任，但却没被国家和地方承认，领兵人员都没得到武官的实缺，自己要为湘军将领申请个奖赏，必得地方官同意，由地方官上奏。还说：湘军无军饷，行军作战，奖功恤死，都得向地方官讨钱，而地方掌握了政权与财权，视湘军为累赘，打击、排挤、陷害者有之，就是无人给军饷。又说：自己担起了出省作战的命令，并无出省作战的资格，地方官也没接到皇帝给的接待湘军的旨意，军中连个正式印信都没有，湘军在别的省客位虚悬，处处受刁难。他明确表示：在江西带兵，不给个巡抚实职或钦差头衔是无法维持下去的。如果还像前几年那样，就让江西巡抚和提督、将军去带兵作战好了，他不会再回去了，就让他留在家里尽孝道好了。
咸丰看了曾国藩的奏折，见他直接伸手向皇帝要实权，考虑再三，最后认为太平军的势力一天天衰落下去，不一定非要曾国藩才能打赢太平军；让曾国藩又有军权，又有督抚大权也太危险。遂顺水推舟，批准让他在籍守制3年的请求。这样，曾国藩便离开了湘军，开始了乡居的生活。
曾国藩自咸丰七年二月二十九日奔丧至家，至八年六月初七日再度出山由湘乡动身赴浙江，先后家居一年半时间。
这一年半时间，名曰“乡居”，实则是曾国藩一生思想、为人处世巨大转折的时刻，就像练武功的“坐关”、佛道的“坐禅”一样。曾国藩经乡居之后，为人处世简直判若两人。
首先，如前文所述，他是遭受了极大的折辱，很不情愿地乡居的。所以，回到家里心情十分苦闷，怨天尤人。他不明白，自己出于对清政府的一片忠心，“打掉牙活血吞”，在战场上拼命，但是结果却处处碰壁，连皇帝都不买他的账，甚至根本就不信任他，“卸磨杀驴吃”，现在磨还没推完，就要杀驴。多少人看他的笑话！他越想越气，“心殊忧郁”。忧郁无处发泄，整日生闷气，动辄骂人。他数着江西的一帮文武骂，骂够了就找几个弟弟的茬吆喝。曾国荃等人开始还劝他，后来劝不了只好不理他，再过些日子就返回了战场。弟弟们走了，他又开始骂几个弟媳妇。什么话都骂得出来，语言粗俗，根本不像个道学家了，弟媳们也都躲着他。头一年夏天，儿媳(曾纪泽之妻)难产死掉了，两个月后，曾国荃的妻子熊氏又临产，怕是被儿媳的魂缠住了也难产，于是闹着请神汉进府做道场。曾国藩知道了大骂一顿，骂她们装神弄鬼，骂得道场做不了。
曾国藩不被皇帝信任，吃了极大一颗软钉子回到家里。但不少朋友认为他是言不由衷，是背叛前誓，前线正吃紧，跑回家待着，是要挟皇帝。于是，有的批评，有的规劝，还有的干脆大骂他。骂得最凶的是左宗棠，骂他是假仁假义假道学，在湖南抚衙里拍着桌子骂，骂他临阵脱逃，自私无能；骂他不该伸手要官，要不来就躲回家。左宗棠一骂，长沙的大小官都附和着骂。骂得蛰居荷叶塘的曾国藩饭难下咽，夜不成寐，从此“得不寐之疾”。当时他深恨左宗棠，认为别人可以骂他，左宗棠不该骂，他们是同门同道，相互也看得起，尤其在与太平军对抗，捍卫儒家道统方面，他应该是知己的。如今我曾国藩被上下整到这步田地，你左宗棠不同情，反而带头怒骂，太不懂事了！所以，他又开始在家里咒骂左宗棠。
盛夏袭击了湘中，火热的南风像从巨大的火炉中喷射而出，午夜之后，仍有令人心焦的蝉鸣，蝈蝈也无休无止地叫着，好像有意和彻夜不眠的曾国藩过不去。他时而躺在床上，时而在室内外踱来踱去，辗转反侧，反复而痛苦地回忆、检查自己的前半生。自入仕途，以孔孟入世救世，对自身的修养严厉酷冷，一丝不苟；对社会抱有“以天下为己任”的坚定胸怀。持身严谨，奋发向上，关心国事，留心民情，因而赢得君王信任和同僚的尊崇，10年京官春风得意。正是抱有这种信念，以一文官而白手建军、治军，5年来一身正气，两袖清风，出生入死。但是，为什么皇上反而不信任？为什么上至枢垣，下至府县，都那么嫉恨自己？
为了解决这些问题，他又日夜苦读，重阅《左传》、《史记》、《汉书》、《资治通鉴》，希望能从这些书里找到解决问题的决窍。然而，这些书他已读得烂熟了，重新翻读，只能找到自己过去的思维印迹，并未发现新东西。
据说在百思不得其解之时，曾国藩曾想要走入空门。然而，深厚的儒家根基使他终于拔不动尘世间的双腿。但因为他遁入佛门，使他认真阅读了以前看过，但并不相信的《道德经》、《南华经》等老庄的著述。这些书名为出世之学，但曾国藩重读，却为他的立身处世指点了迷津。你看：同样为人处世，孔孟主张直率、诚实，而申韩(申不害、韩非)等法家却主张以强碰强，硬对硬，老庄则主张以柔克刚、以弱胜强，“天下之至柔，驰骋天下之至坚”，“江河所以为百谷之王者，以其善下”。下反而是王，弱反而能强，柔则是至刚。把老子的言论对比自己过去的行事，他发觉自己处处直截了当，用的是儒家的至诚和法家的强权，表面上痛快干脆，似乎是强者，结果处处碰壁，实质上是失败，是弱者。到头来弄得上上下下处处是敌人，前前后后处处是障碍。过去也知道“大方无隅”、“大象无形”、“大巧若拙”，但一直没有真懂，所以自己的行事恰好是有隅之方，有形之象，似巧实拙，真正的大方、大象、大巧是无形无象、鬼斧神凿的。“大柔非柔，至刚无刚”，太妙了！读到这里、想到这里，曾国藩如同从黑夜里一下子走上了光明世界，豁然开朗。
自此之后，曾国藩行动做事，由前时的方正，变为后来的圆通。他自己承认，“昔年自负本领甚大，可屈可伸，可行可藏，又每见人家不是。自从丁巳、戊午大悔大悟之后，乃知自己全无本领，凡事都见得人家几分是处，故自戊午至今9年，与40岁前迥不相同”。曾国藩这里把家居的两年自称为“大悔大悟”之年，他自认为前后行事“迥不相同”了。
