杨广委派李靖率领骠骑营一营人马再次赶赴浙东剿匪，同时自己在广陵开始着手准备举办千僧会，以期借助在江南佛界享有祟高声望的法华宗开山宗师智觊大师的影响力，通过宗教这种途径收拢江南民心，达到抚绥江南的效果。
然而，仅仅在李靖奉命率领人马离开广陵十多天后，从岭南传来了一个惊人的消息：在隋朝兴兵平陈一役中侥幸流窜至岭南一带藏身的南陈旧将王仲宣纠结了数万南陈残部，与岭南诸蛮部落结成同盟，公然扯旗造反了。叛军接连攻下了隋军占领的数座州城，兵锋直指浙东的会稽。
杨广接报后，一面急命会稽郡守韦晃统领本部兵马严防死守，务必将叛军阻挡于会稽城外，一面从建康召回张衡、裴蕴二人，紧急会商平叛事宜。
其时，宇文述已奉调回京，为防范躲藏于暗处的“雁巢”残部趁机生乱，杨广没有传命率军驻守建康的大将军梁默一同来广陵议事，严命梁默加强建康城的警戒，保持高度戒备。
张衡自与宇文述、段达三人联手，决定要扶保杨广入主东宫以来，这些天来可谓是全心全意地为杨广抚绥江南，营构江南这块立足之地在不停地忙碌着，在蒋山督促重建谢氏宗祠的施工现场接到杨广的传召后，顾不得回城，即直接渡江赶到了广陵来见杨广。
“建平，王仲宣起兵叛乱一事想必你已听说了吧。我欲趁此机会，麾师南下，一举枚平岭南，你以为如何？”
张衡走进广陵总管府的议事厅时，只见杨广正俯身于舆图前审视着岭南一带的地形，头也不抬地向自己问道。
“王爷发兵前，最好还是派人去问问朝廷招安岭南蛮族部落的进展情况吧。据我所料，王仲宣叛军兵锋如此强健，多半已事先与岭南诸蛮族部落结成了同盟，倘能使这一同盟不攻自破，则平叛之事只需派一偏师即可，又何劳王爷尽发江南大军千里跋涉南下呢？”张衡走到杨广近前，拱手建言道。
“建平提醒得是，我只想着发兵平叛的事，却把此前朝廷派员招安岭南诸蛮的事给忘了。”杨广听了张衡的话，恍然大悟道。
“从时间上估算，若是朝廷派往岭南招安的钦使行程顺利的话，这几日应当抵达岭南，与洗氏夫人会了面。稍后定会有消息传来的，王爷请耐心等待几日，只要韦晃率军守住会稽，江南可保无虞。”张衡进而提示杨广道。
与此同时，在与广陵相距两千里之外的岭南洪州城中，隋朝派往岭南招安诸蛮的钦使——吏部侍郎裴矩正与岭南诸蛮族部落的大首领洗夫人进行着会晤。
洗夫人在岭南方圆几千里是位传奇式的人物，她年轻时嫁入了岭南冯家，曾经帮助夫家从普通的土司一跃成为在岭南拥有最广阔土地的大部落首领。
更为难得的是，洗夫人虽是一介女流，却极具慧眼，深明大局，在她力主下，岭南诸蛮族部落纷纷向南朝献贡归附，结束了部落之间多年以来纷争不断的局面，为此，南朝中的两个朝代：梁、陈，都曾正式册封洗夫人为岭南大郡的郡守，岭南诸蛮部落的大首领。从某种程度上，洗夫人可以称得上是岭南王。
杨广统军攻破建康，讨灭南陈之后，随即命被俘的南陈后主陈叔宝致书洗夫人，劝她改向隋朝称臣，率领诸蛮族部落归附隋朝。此事后因高青莲从高句丽奔回江南后，派人从中做梗不了了之。
此番裴矩再次前来岭南招安，不仅随身携带了大隋皇帝杨坚的册封诏书，持有杨广从南陈后主陈叔宝手中索得的一柄扶南犀仗作为信物，而且还送回了被当作南陈细作在长安坐了十年天牢的洗花儿，可说是志在必得，对成功招安洗夫人寄予了厚望。
在得知隋朝招安钦使抵达洪州的消息之前，洗夫人其实已经对岭南诸蛮族部落联盟中有几个部落背着自己与南陈旧将王仲宣结盟，助其起兵反叛一事有所耳闻，只是一方面对个中详情了解得还不确切，另一方面考虑到自己仍是南陈册封的岭南郡守，故而未加干涉。
此次与裴矩会晤时，亲眼见到那柄早在南陈后主继位时自己献给他的扶南犀杖由隋朝钦使携来，转交到了自己手中，洗夫人这才确信南陈已被隋朝攻灭，整个疆域现已划入了隋朝境内，加之又与自己最钟爱的孙女洗花儿劫后重逢，感受到了隋朝皇帝招安自己的诚心，洗夫人当即做出决定，率领岭南诸蛮部落改向大隋称臣。
裴矩此行未费半点儿周折即大获成功，自是大喜过望，当场宣谕，册封洗夫人为隋朝的龙城郡君，继续统领岭南诸蛮部落，并特别向洗夫人说明，晋王杨广现奉旨驻跸广陵，所有南陈旧地皆归其节制，请洗夫人主动派人前往广陵参见杨广，今后须听从他的号令行事。
洗夫人在接受隋朝招安之后，旋即想到自己麾下部落中尚有几个部落与王仲宣叛军结盟一事，遂一面命人前往这几个部落，劝说其酋长解除与叛军的盟约，一面主动向裴矩提出，愿出兵助朝廷平定岭南叛乱。
由于洗夫人率领岭南诸蛮部落归附了隋朝，及时出兵切断了王仲宣叛军的退路，迫使正在浙东率军猛攻会稽的王仲宣不得不撤军南返，妄图退守岭南，与隋朝形成割据之势。
杨广在广陵得知王仲宣叛军已撤的消息后，即命韦晃率军从后追击，一直将叛军赶回了岭南番禺，韦晃大军与洗夫人派来的蛮兵会合，将番禺围了个水泄不通，摆