秦昭王五十年（前257）九月底，秦军在数次攻城战中伤亡惨重，而攻破邯郸城池的日期却始终看不出迹象来。另一方面，楚国春申君所率的20万大军以及魏国公子信陵君所率的八万精兵也已及时到达，围攻秦军外围。只不过因为邯郸城中的军民协同作战，精壮伤亡过半，无力发动反攻，否则里应外合，秦军就有被歼危险。王龄见情况不对，只得报准秦王，下令撤军，邯郸之围终于以秦军的失败而告终。
脱离了危险的赵王本打算去全力搜寻赵姬母子，但一想到下一步将要与秦国进行和谈，而他俩也可以当作索要好处的筹码（秦国人才不知道赵姬母子是不是在他手上呢），因此也就不再操心他们的事，转而一心一意地把精力投到与秦国的和谈中去了。
身处偏僻山村的赵姬虽然得知了秦军撤退的消息，但她却不知道赵王的想法，所以仍旧带着小赢政在山沟里苦熬时光，等待着吕不韦和子楚来将母子二人接到身边。
然而此时身在王宫的子楚和吕不韦好像忘了还有两个人尚在敌国：子楚整日里忙着在华阳夫人面前献殷勤，闲暇时间也要在朝中学习如何处理政务，而吕不韦则借着子楚的关系，在朝臣中间大撒金钱，以求让未来的仕途更顺利一些。二人如此一忙，有意无意之间也就把赵姬母子抛到了脑后，秦赵在达成和议之时，子楚压根没提赵姬母子一个字！
时间已经是秦昭王五十二年（前255）了，赵姬母子在小山村里已经生活了两年。凭借着吕不韦留下来的钱和朋友的帮助，他们物质上的生活还是比较富裕的，与其他在贫困线下挣扎的村民们相比，有着天壤之别。但也因为这个缘故，他们被孤立在人群之外。大人可以不理这些，但赢政是个孩子，他需要平等的玩伴，而不是卑躬屈膝、谄言媚笑的仆婢。
然而赢政身边的孩子们却对这个秦室后人却不能做到平等看待，他们甚至为赢政取了个绰号，叫他“秦弃儿”。其实赵姬和吕不韦、子楚之间的那点事谁都知道，村里的大人们都忠厚，不会当面提起，顶多在背后嚼嚼舌头；小孩子可没有那么客气，每逢赢政想参加他们的游戏，就会有人抗议：“我们不跟弃儿玩！”甚至有些孩子还编了一首儿歌，跟在他背后唱——“弃儿，弃儿，有娘无爹！弃儿，弃儿，弃之河东！”赢政的反应，先是跟他们打架，此时年仅五岁的赢政打得过谁，反而常被打得鼻青脸肿，回家后，脾气倔强的他却不吭一声。赵姬看了心痛，怎么问都没用，只有责骂奶娘。但奶娘也有说不出的委屈：赢政哭闹着不准她跟着，他要独自出去和同年龄的孩子玩。最后，赵姬只有命两名健仆随时保护，走到哪里跟到哪里。这使得赢政离群儿更远，也更独立。五岁的孩子，竟然失去欢笑，脸上满布成人的忧郁。在这种压力下长时间生活的赢政生了重病，导致了发育不良，相貌从刚降生时的帝王之相变成了蜂准（马鞍形鼻梁）、挚鸟膺（鸡胸），甚至还患上了严重的气管炎，使得说话声音变成了“豺声”。
这段痛苦的经历，在赢政幼小的心里烙下了深深的痕迹，再加上刚刚出生不久，便尝到了两国战争给他的父母带来的苦难（虽然那时的小赢政还不懂事，但赵姬和下人们却会将这段辛苦的岁月讲给他听，否则无法向他解释有母无父的现实），使得他称帝之后为人凶暴，手段残酷。
作为母亲，赵姬也明白这种生活会给小赢政带来多大的伤害，但她也无能为力。一个出身低微的风尘女子，哪有能力去教育好一个将来有可能成为一国之君的孩子？穷乡僻壤之中，更不可能有什么名师大家。对于赵姬来说，这是一个无奈的问题。
除了那些四肢发达、头脑简单的仆人外，赵姬身边找不到一个可以与之商量的人。再三权衡之下，她决定冒险搬回邯郸：比较而言，大城市的人没那么多的闲心去管别人的私事；再说，在城里的闺中密友较多，有事情也可以相互照顾；对五岁的赢政来说，这时候也应该为将来学习国君之道打基础了。至于回到邯郸的安全问题，赵姬也管不了那么多了，听天由命吧；赢政能不能在邯郸得到充分的发展，也只能看他自己的造化了！
统一六国的萌芽
此时秦赵之间已经达成和解，作为战胜国的赵国在和议中也得到了不少好处，对于赵王来说，赵姬母子也没有什么利用的价值了。搬回邯郸更好，这样赵国可以在眼皮子底下监视母子二人。因此，在得知二人搬回邯郸的消息后，赵王也是睁一只眼闭一只眼，任他们母子自由行动。
回到邯郸之后，赵姬得知了这种情况，因此对自身的安全问题也就放了心。母子二人在朋友的帮助下居住在深宅重院里，加上赵姬的活动还不能完全公开，来往的都只是一些至亲好友和故旧的眷属，这些人都属于高级阶层，懂得如何掩饰伪装；她们的孩子也大都富于教养，尽管背后批评挖苦的话，说的比村里的孩子还难听，但绝不会像那些粗鄙人一样，当着赢政的面唱童谣。
在这些孩子面前，赢政和他们地位相等，出身背景也大致相同，能玩到一起去，虽然有时免不了发生点吵嘴打架和不愉快的事，但这些也不过是孩子们的通病，谁也不会放在心上，吵过了也就忘了，而不再像和村里的孩子格格不入的时候那样了。
赢政已经长大了。赵姬知道，一旦子楚成为秦国之君，赢政就将很有可能成为嗣君。按照秦宗室法律，太子公子五岁时要接受嗣子基础教育，包括诗、书、礼、乐、射、御和剑法；过了12岁便进行养成教育，学习项目包括政经之术、兵法、刑名等深一步的学问，此外也可按照自己的兴趣，研读其他天文地理、诸子百家等较高深的学问；到了15岁则开始接受个别教育，按照太子、嫡嗣子、庶出公子等级别，分别受不同的训练。而太子和嫡嗣子所受训练特别严格，有太师教授君王学；太傅督导品德修养，管理生活起居以及外交应对等仪节；太保则负责身体保健及安全护卫等事宜。
所以，现在到了让赢政学习成王霸业之道的时候了。虽然现在的赢政因条件所限，不能接受如此系统的教育，但绝不能因此耽误了他君王学的基础教育。于是，赵姬便辗转地找到了一个隐居的博学之士，即为后世称为“子隐老人”的。在赵姬的恳求下，子隐老人答应收赢政为关门弟子，但同时也提出了六个条件：
第一，他要看赢政是否生有君王之相，若不够格，不收；
第二，他任何教法，家长不得有异议或意见，否则退学；
第三，赢政要住在他那里，每个月只准省亲三天，而且要学就是三年，不得中途退学；
第四，学生不得带伴读书童或女仆，一切日常生活事务自理，衣食住行由他负责调配，家长不得自送衣服食物，否则退学；
第五，除上述条件外，首先赢政需通过入学测验，办法另订；’第六，以上条件需以文字正式订约。
这些条件不可谓不苛刻，但为了赢政能得到最好的教育，赵姬答应了。
经过对赢政的考察，子隐老人不禁发出了感慨：“越王勾践和他相比，真是萤火比明月。日后他若当了秦王，天下不是大乱就是大治！”
子隐老人正是为避乱世才揣着可以济世的满腹经纶选择了隐居。在赢政身上，他隐约看见了未来的天下在面前这个孩子掌中风云变幻！为了苍生，子隐老人决定，要让这个孩子在自己手中成为结束动荡的天之骄子！
在子隐老人门下学习是一件非常辛苦的事。作为关门弟子，老人对赢政的要求极其严格，甚至剥夺了他游戏的时间。小赢政虽然也曾为此而哭闹过，但子隐老人根本不为所动，赢政也只好老老实实地听话了。也许是身体内流淌着贵族血液的缘故吧，久而久之，赢政喜欢上了君王之道的修业，甚至还常常缠着老人传授一些还没来得及讲的知识与本领。老人喜在心上，更加不遗余力地将自己的韬略全部传授与小赢政。
时间飞快，一转眼已经过去了三年。当赢政八岁、对世界已经有了初步的认识能力之后，子隐老人开始揭去他与真实世界之间的面纱。
赢政出身贵族，平时所接触到的也都是和自己身份相差不多的人，在他的身边，可以说是“出入有高官，往来无下层”，对他来说，这就是真实的世界。然而，当子隐老人带着他来到城中偏僻的角落时，赢政的世界改变了，中国未来的命运也即将发生重大转折！这里是七国最繁华的都市之一的角落。与赢政平时接触到的世界相比，这里只有一种颜色一一灰色！这里看不到衣冠楚楚的达官贵族，看不到穿梭不息的车水马龙，甚至连沿街叫卖的商贩影子也看不到。这里有的只是满街的污水，低矮险暗的茅屋以及衣衫褴褛、食不果腹的妇孺老幼。走进屋子，一股臭气扑鼻而来，令人忍不出呕吐的欲望。屋顶和墙壁早已失去了它应有的作用：风从四壁进入屋子毫无阻碍，阳光也可以从房顶直射进来。对于赢政这样的孩子来说，能够躺在炕上欣赏到天上的星星倒是一件极其有趣的事，但对于居住在这里的人们来说，简直就是地狱般的生活环境。一旦下起雨来，往往是屋外下大雨，屋里下小雨；屋外下小雨，屋里也会闹个“洪灾”；就算是屋外雨停了，屋里也要沥沥啦啦地“哭”上个半天。
这样的生存环境让人不禁对他们抱以深深的同情。但赢政发现，除了孩子之外，这里的人们脸上没有表情，看不出他们是喜是悲，抑或对这种生活是绝望还是有所企盼。过了很长时间，赢政才明白这其中的缘由：连年的战火已经烧毁了人们的希望，无权无势无钱的穷苦百姓躲不开战争的阴影，只能在生存与死亡的一线间挣扎；他们没有选择的权利，长期的苦难已经麻木了神经，更麻木了他们的目光。
在这里转了一圈，赢政和子隐老人没有看见一个健全的成年男子，目之所及处，除了妇孺老幼，就是缺胳膊少腿或者是奄奄一息的男人，而他们穿着破褴的军服，在街头乞讨，完全没有了一个男人所应拥有的那种尊严。对此赢政很是疑惑。子隐老人告诉他，从500多年前开始，战火就没有熄灭过。
而战争却是减少人口最好的手段，只不过减少的是那些被迫成为征兵对象的精壮男子。离开了男人，妇女和老人撑不起这个家。而这些抛弃了男人尊严的乞丐，则大都是在长期的战争中幸存下来的。他们有的是家乡仍在秦军手上，有家归不得；有的是回家以后，发现亲人死的死，散的散，田园荒芜，房屋烧得一千二净，自己又伤残，无力再独自重整家园，只有到邯郸来谋生。邯郸虽然繁华，但也自有难处，伤残人到哪里都没人请，最后只有流落街头。有的是自小离家，在军中混了太久，家是否尚在，还有没有亲人，全都不清楚，而且他们除了打仗，其他的生活技能一窍不通，伤残之后更是只剩下了一口气，也只能以讨饭为生了。邯郸是个大城，相对来说比较容易得到眷顾，所以有这么多的人聚集到这处国都来。然而邯郸也在受着战火的侵袭，尤其是最近被秦军围城，导致了城里粮援无继，城里人自己都吃不上饭，哪里还有食物去供养这些可怜人呢？他们在这里，也只是等死罢了！
谁也不知道当年幼的赢政听完了老人的解释之后是什么样的心情，但可以肯定的是，这段经历以及亲眼目睹的情形，在赢政的心里打下了深深的烙印。这段经历是宝贵的，它为中国迎来真正意义上的大一统奠定了赢政内心的思想基础。后人也许应该感谢吕不韦和子楚对赵姬母子的弃之不顾，否则，在深宫内院里，赢政是无法接触到这些赤裸裸的真实世界的，也就会像当时的那些王公贵族们，整日里纸醉金迷，沉醉在歌舞升平之中。这样一来，再优秀的人才，再有帝王之相，也只能沦为历史中的尘埃！
