交锋已经开始，升级随之而来。在张柬之等五人封王之后，武三思的杀招继续进行，他要将五王一个一个剪除。首先被打压的是博陵王崔玄暐，他被武三思调整到梁州（陕西汉中）出任梁洲刺史；接下来是汉阳王张柬之，他是自己走的，八十岁的他请求退休回襄州（湖北襄樊），李显便顺水推舟将张柬之委任为襄州刺史，只拿俸禄，不需管事；时间进入公元706年，武三思的打压继续进行，他把敬晖、桓彦范、袁恕己都贬出了洛阳，一一赶到了滑州、洺州、豫州担任刺史。值得一提的是，此时的桓彦范已经叫韦彦范了，韦皇后将他列入族谱，以示恩宠。然而所谓的恩宠都是虚的，注定抵挡不了武三思的杀招。不久之后，武三思继续出招，除张柬之之外，其余四王再次遭到贬黜。敬晖被贬为郎州（湖南常德）刺史，崔玄暐被贬为均州（湖北丹江口）刺史，韦彦范被贬为亳州刺史，袁恕己被贬为郢州（湖北京山县）刺史，四个人去的地方有一个共同特点：都是欠发达地区。这会是四王的终点吗？不，远远不够。不久，洛阳城发生的一起谋反未遂案又成了武三思打压五王的理由。
这起谋反未遂案由曾经参与过兵变的驸马都尉王同皎而起，王同皎是李显的女婿，此时正担任光禄卿（宫廷膳食部长），按说王同皎应该对现状很满足，不会与谋反沾边，可惜他偏偏沾了边。其实，严格论起来，王同皎是个忠臣，他策划的其实不是谋反，而是货真价实的“清君侧“，他想清理的是武三思和为虎作伥的韦皇后。正是因为武三思和韦皇后不断地有绯闻传出，王同皎起了“清君侧“之心，于是便关起门来策划清理武三思。本来是神不知鬼不觉的事情，王同皎却大意了，他忘了约定一起起事的张仲之家里多了两条流浪狗，一条叫宋之问，一条叫宋之逊，两人是亲兄弟，刚从岭南逃回洛阳，被他收留在家中。随后，宋之问上演了“农夫和蛇“的故事，将王同皎告发，王同皎最终被处死，而宋之问和宋之逊却由此平步青云。（最终也不得好死）本来王同皎的“清君侧“跟五王没有任何关系，然而即便这样，还是被武三思扯上了关系，五王被诬告与王同皎暗中勾结，针对五王的贬黜再次升级。
公元706年六月六日，敬晖被贬为崖州（海南琼山）司马，韦彦范被贬为泷州（广东罗定）司马，张柬之被贬为新州（广东新兴）司马，袁恕己被贬为窦州（广东信宜）司马，崔玄暐被贬为白州（广西博白）司马，五王的去处全部属于传统的岭南地区，而且同时被剥夺了王爵。在被贬的同时，还有附加条件，五人此时的官职均属于编制外，永远不享有调迁的权利，也就意味着，不出意外，他们的人生就将在这五个地方定格。同时韦彦范被剥夺了姓韦的权力，又改回来了，还姓桓！这会是五王的最后结局吗？还不是。几个月后，武三思又出招了。
他偷偷地命人将韦皇后的丑闻写到一张纸上，然后又把这张纸贴到了人流量最大的洛阳城南洛水桥上，在这张纸的最后还写道，要求将韦皇后废黜。这一下触到了李显的炸点。在被拘禁的岁月里，正是韦皇后的支持才让他挺了过来，现在他已经是君临天下的皇帝，他不能容忍任何人侵犯韦皇后。气急败坏的李显下令追查，不久就得出结论：这是以张柬之为首的五王干的！真的是张柬之等人干的？八十一岁的张柬之没有那么下三滥，如果张柬之真的能做出那样的事，武三思的脑袋早就搬了几回家了。这就是一个社会怪状，有原则的人往往路越走越窄，而没有原则、没有道德底线的人路却越走越宽，这到底是为什么呢？
