张伯驹邂逅潘妃之后，才情大发，提笔给她写了一副对联：“潘步掌中轻，十步香尘生罗袜；妃弹塞上曲，千秋胡语入琵琶。”这副对联化用了两个典故“步步生莲”和“昭君出塞”，先以古代的潘妃来形容现代的潘妃，接着以王昭君概括她善弹琵琶，又以“潘妃”二字藏头，构思巧妙，寓意贴切，闻者无不击掌。才子佳人，可谓天作之合。
然而，这个时候潘妃已经名花有主，对象是国民党中将臧卓，两人已经到了谈婚论嫁的程度。臧卓发现自己被人横刀夺爱后怒不可遏，将潘妃幽禁在一间名叫“一品香”的旅店内，潘妃不能与心上人相见，整天以泪洗面。张伯驹对此手足无措，他在上海人生地不熟，对方又是个手握枪杆子的人，硬来的话自己未必是对手。情急之下，他想到了一个人——自己的拜把子兄弟孙曜东。
孙曜东乃上海滩上的玩家子，年轻气盛，敢作敢为。他听说了张伯驹的遭遇后，二话不说，趁天黑开出一辆车，带着张伯驹先到静安寺路上的静安别墅租了一套房子。然后驱车来一品香，买通了臧卓的卫兵，知道臧不在房内，急急冲进去，潘妃已哭成泪人。两人顾不上说话，赶快走人。孙曜东驱车把他俩送到静安别墅，躲了几天后，张伯驹带着潘妃回到了天津。
张伯驹在遇到潘妃之前，家里已经有两位太太，但均为父母主聘而娶，感情不睦，貌合神离。此番得到潘妃，让他有天命所归之感，立即各给家里的太太一笔巨款，和她们正式办理了离婚手续。真爱不问出身，为了一个青楼女子能够有如此当机立断的气魄，这让我们现在那些偷偷摸摸在外面******的官员和富商们情何以堪。
在与潘妃结婚后，张伯驹为她改名潘素，还给她取了一个爱称——慧素。张伯驹没有解释这个名字的由来，但笔者可以大胆推断，它来自《论语》中孔老夫子的一句话——绘事后素，“慧”、“绘”谐音。张伯驹既希望自己的夫人在绘画上有所作为，又希望她的人生永远像一张白纸那么单纯。
潘素没有辜负丈夫的期望，嫁给张伯驹后，她先后拜古文大家夏仁虎和山水画名家汪孟舒为师，学习古文通鉴，并专攻金碧丹绿山水，兰心蕙质的她几年后已经卓然成家。董桥在《永远的潘慧素》一文中说：“潘素跟过朱德甫、汪孟舒、陶心如、祁井西、张孟嘉学画，跟过夏仁虎学古文，家藏名迹充栋，天天用功临摹，画艺大进，张大千赞叹‘神韵高古，直逼唐人，谓为杨升可也，非五代以后所能望其项背。’北京官方拿她的山水当礼品赠送铁娘子、老布什那些外国元首。”张大千的话或许有几分恭维成分，但以他挑剔的眼光，能对一个人评价这么高，想来潘素的水平还是相当高的。
张伯驹将自己与潘素的结合比之为冒辟疆与董小宛，两人情意相和，志趣相投，往往是潘素作画，张伯驹题字，珠联璧合，如金庸小说中杨过与小龙女合使“玉女素心剑法”，缠绵悱恻中有势不可挡的艺术魅力。
结婚二十年后，张伯驹回忆往事，在潘素的生日写下《水调歌头·元宵日邓尉看梅花》，词的下半阙云：“当时事，浮云去，尚依然。年少一双壁玉，人望若神仙。经惯桑田沧海，踏遍千山万水，壮采入毫端。白眼看人世，梁孟日随肩。”在这里，张伯驹又将两人的关系比作梁鸿与孟光，举案齐眉，冷眼看人世沧桑变幻，真乃神仙眷侣！
两人结婚四十年后，年近八旬的张伯驹到西安女儿家小住，与潘素只是小别，但他还是恋恋不舍地写下这首《鹊桥仙》送给妻子：
不求蛛巧，长安鸠拙，何羡神仙同度。百年夫妇百年恩，纵沧海，石填难数。白头共咏，黛眉重画，柳暗花明有路。两情一命永相怜，从未解，秦朝楚暮。
夫妻之间爱到极致的表现，是你在他（她）面前无拘无束，可以表现自己最幼稚的一面，可以展示最真实的自我，发乎自然，毫无顾忌。
1949年以后，张伯驹和潘素只是靠着一份政府的工资度日，生活勉强可以应付，但要收藏则未免自不量力。有一次，张伯驹看上了一幅古画，对方要价不菲。张伯驹结婚后家里的财政大权都在妻子手里，一发工资就把钱交给妻子。他回来跟潘素一说，潘素自然不肯答应。张伯驹见状，索性躺倒在地上，任潘素怎么拉，怎么哄，也不肯起来。最后，潘素不得不允诺从自己的首饰中拿出一件换钱买画。张伯驹听了之后这才翻身爬起，拍拍身上的泥土，回屋睡觉去了。
黄永玉在《大家张伯驹先生印象》中讲到自己1982年初与张伯驹在某西餐厅邂逅的场景：
某日，余偕妻儿赴西郊莫斯科餐厅小作牙祭，忽见伯驹先生蹒跚而来，孤寂索漠坐于小偏桌旁，餐至红菜汤一盆，面包四片，果酱小碟，黄油二小块。先生缓慢从容品味，红菜汤毕，小心自口袋取出小手巾一方，将抹上果酱及黄油之四片面包，细心裹就，提小包自人丛缓缓隐去。
这件事发生在张伯驹生命中最后一年，昔日一掷千金的豪门公子潦倒到这个地步，确实让人心酸！而他细心裹起来的那四片面包，正是准备带回家给妻子潘素享用的。看完这个故事，我蓦然明白了什么叫作“相濡以沫”！
穷途不改大家风
1956年7月，在张伯驹捐出自己的稀世珍藏后，文化部部长沈雁冰给他颁发了一纸褒奖状，上写：张伯驹、潘素先生将所藏晋陆机《平复帖》卷珍贵法书等共八件捐赠国家，化私为公，足资楷式。文化部曾欲奖励张氏夫妇二十万元人民币，但二老不愿担上“卖画”的嫌疑，只接受了这一纸奖状。
章诒和后来拜潘素为师学画，她第一次去张家时特地搜寻了这张传说中大名鼎鼎的奖状。众里寻它千百度，蓦然回首，才发现奖状“高高而悄悄”地悬靠在贴近房梁的地方，不仅没有豪华的装裱，上面还蒙着尘土，这与它的身份和地位极其不相符。由此，章诒和想起了自己随父亲拜访过的另一位颇负盛名的文人柳亚子。在柳家，她看到柳亚子将自己与毛主席唱和的诗词手迹用金丝绒装帧起来，挂在大客厅最惹眼之处。章诒和由此感叹：“这两个文人做派很不同：一个把极显眼的东西，搁在极不显眼的地方，浪漫地对待；一个将极重要的物件，做了极重要的强调，现实地处理。”
除了捐赠书画外，张伯驹其他方面的“政治觉悟”实在是幼儿园级别的。他晚年收留、接济大表哥袁克定的义举一直为人称道。袁克定作为袁世凯的大儿子，当年是鼓吹帝制的头号帮凶，在袁世凯死后，他以前的那些朋友们争着跟他划清界限，晚年他败光家产，无以为生，大家就更唯恐避之不及。张伯驹却于1948年将他接到自己的寓所，后来袁克定去世也是在张家。而章诒和在《往事并不如烟》中也提到其父章伯钧相识遍天下，而在1969年章伯钧死后，第一个来慰问逝者的竟然是这个交情并不算深的张伯驹，相比之下，章氏生前的很多“知交”唯恐跟这个天字第一号****扯上关系，都在装聋作哑。
一个人活在如此现实而冷酷的社会中，却能始终保持这种浪漫的处世精神，不能不说是一种奇迹。
张伯驹把自己的宝贝“浪漫地对待”在现实中还有更经典的事例。1945年，文物专家王世襄在参与清理战时文物损失工作时与张伯驹结交，后来王世襄到故宫博物院任职，从事古代书画研究，他想到了《平复帖》，觉得错过了“中华第一帖”，自己的研究就是不完整的。王世襄知道《平复帖》的珍贵，怀着忐忑的心情向张伯驹提出请求，只是说能否在张家看一两次。没想到张伯驹知道来意后，就一句话：“你拿回家看去。”
这下倒给王世襄添了巨大的负担，到家之后，他腾空了一只樟木箱子，放在床头，底下用白棉布铺垫平整，再用高丽纸把已有锦袱的《平复帖》包好，放入箱中，他说：“每次不得已而出门，回来都要开锁启箱，看它安然无恙才放心。观看时要等天气晴朗，把桌子搬到贴近南窗、光线好而无日晒处，铺好白毡子和高丽纸，洗净手，戴上白手套，才静心屏息地打开手卷。”《平复帖》在王家放了一个多月，然后完璧归赵，那一瞬间王世襄自承“顿觉轻松愉快，如释重负”。王世襄根据这一个多月的研究成果完成《西晋陆机平复帖流传考略》一文，成为了解《平复帖》不可不看的文章。
拿得起，放得下，这才是大家风范！要想看一个人的真性情，既要看他得意的时候，更要看他倒霉的时候。
1949年以后，张伯驹受自己的出身连累，在历次政治运动中都难以置身事外。张伯驹被打成****时，其女张传彩和丈夫在千里之外的西安工作生活，对于父亲的遭遇，女儿感到非常揪心，然而她自己也正受批斗，和父亲同病相怜、爱莫能助。因为上级要求和父亲“划清界限”，张传彩来看父亲都是晚上偷偷摸摸地过来，像做贼一样。那样的时代对人性的压抑可见一斑。然而，张传彩回来后却发现这些事好像没在父亲身上发生过一样，他还是依旧看书、写东西、下棋，一切都很自然。
张伯驹被打为****，距离他捐献国宝仅仅一年。陈毅知道张伯驹打成****后，特地请他吃饭，对他说：“像你这样一个把自己最心爱的东西都捐给国家的人，还能是****吗，我想不出，我向你道歉。”张伯驹却坦然地认为人偶尔受点委屈是很正常的。二十年后，曾经同为****的刘海粟向张伯驹问及被打成****后有何感想，张伯驹的回答还是那句老话：“国家大，人多，个人受点委屈不仅难免，也算不了什么，自己看古画也有过差错，为什么不许别人错我一顶帽子呢？”
王世襄也有与张传彩类似的回忆，在《与伯驹先生交往三五事》中，他讲道：“在1969年到1972年最困难的三年，我曾几次去看望他。除了年龄增长，心情神态和二十年前住在李莲英旧宅时并无差异。不怨天，不尤人，坦然自若，依然故我。”
1969年到1972年，这三年大概是张伯驹一生中最煎熬的三年。从1969年春开始，张伯驹因为一首词“攻击”了江青，被定罪“现行反革命”，再加上其他罪名，新旧账一起算，被关在吉林艺术专科学校一间不足十平米的地下室里整整两年，潘素则被关在另外一间地下室里。直到1971年春，张伯驹才走出了地下室，按照指示到吉林舒兰县农村插队，参加劳动改造。然而，那时村民们自己的粮食都不够吃，再分来两个老得不能干活，还要白吃饭的家伙，谁都不愿意接收。张伯驹只好返回北京，但他成了没有户口的“黑人”，领不到粮票，只是靠着朋友们的一点接济苟活于世上。
1972年，与张伯驹患难之交的陈毅去世，悲痛欲绝的张伯驹连去参加追悼会的资格都没有，只能送去这样一副挽联：“仗剑从云作干城，忠心不易。军声在淮海，遗爱在江南，万庶尽衔哀。回望大好河山，永离赤县；挥戈挽日接尊俎，豪气犹存。无愧于平生，有功于天下，九原应含笑，伫看重新世界，遍树红旗。”这副挽联被悬挂在灵堂一个很不起眼的角落里，却有幸被赶来参加陈毅追悼会的******看到，******询问陈毅夫人张茜，撰联者为何人。张茜趁机将张伯驹的近况告诉了******。于是，张伯驹被安排在文史馆工作，一个月七十元钱，这才重新落户北京，有了粮票，结束了黑户的日子。
据说张家生活好时，曾有大大小小十位管家，光负责中餐、西餐的就有四位大厨。这与张伯驹落难时的生活简直是天壤之别，如此大的落差他都能坦然处之，难怪黄永玉发出这样的感叹：富不骄，贫能安，临危不惧，见辱不惊，真大忍人也！张伯驹的学生欧阳石则赞颂他：襟怀落落意融融，一任烟云化碧空。地裂天崩心似水，穷途不改大家风。
1982年1月，张伯驹因为感冒和身体不适而住进北大医院，喜欢安静的他看到自己住的病房是八个人的房间，嘈杂不堪，便嚷着要回家。潘素好说歹说，才让他安顿下来，跟着向院方提出要求，能不能给张伯驹安排个单人或者双人病房。没想到，医院的人一口回绝：张伯驹级别不够！
两天之后，张伯驹的病情加重，从感冒转为肺炎，开始陷入昏迷状态，神志不清，一直靠输液维持生命。2月25日，张伯驹突然清醒，提出要吃东西，这一天正好是他八十五岁生日，此乃回光返照。这天上午10点多，张大千的孙子张晓鹰奉爷爷之命前来探望，张伯驹牵着他的手，泣不成声。
2月26日上午10时43分，张伯驹离开了人世。他死后，有人跑到北大医院，站在大门口叫骂：“你们医院知道张伯驹是谁吗？他是国宝！你们说他不够级别住高干病房？呸，我告诉你们——他一个人捐献给国家的东西，足够买下你们这座医院！把那些住高干病房的人，都扒拉一遍，看看哪个的贡献，能赶上张伯驹？”
张传彩说，父亲是个怪脾气，人称“张大怪”。他不喜欢的人来找他，他就是不理人家。任凭家人怎么招呼客人，他自己就是一声不吭。这使我想起了那个在竹林中打铁的嵇康，与他不是志同道合的人来拜访他，他就一直打铁，头也不抬，“扬槌不辍，旁若无人”。
张伯驹走了，那种在乱世中“目送归鸿，手挥五弦”的贵族气质也随之烟消云散了，对此我有一种人琴俱亡的惆怅，正如嵇康在断头台上说的那句话：《广陵散》于今绝矣！
