卫右渠归降失败，卫山将责任推到了荀彘头上。荀彘当然不背这个黑锅，反复声明卫右渠根本没有归降的诚意。
两人为此争辩了很久，谁也说服不了谁，卫山一气之下离开了浿水西岸，想要当面向汉武帝汇报。
就在此时，赵破奴在西域的行动取得了突破，生擒楼兰王，大破车师国，并乘机以大军威胁乌孙、大宛等国，让他们不得为难汉使。
这是汉军第一次在西域亮相，引发了西域诸国的震动。从此，西域诸国再也不敢擅杀汉使，刻意和匈奴保持距离。
元封三年（公元前108年）正月初六，赵破奴在西域的捷报传到了长安。汉武帝高兴不已，下诏册封赵破奴为浞野侯。
赵破奴第一次封侯是跟随霍去病收取河西，被封为从骠侯。酹祭事件时，因黄金成色不足被废除爵位，如今再次因功封侯。
经过多年历练，赵破奴逐渐成长为能够独当一面的大将。而且，他的作战风格也和霍去病颇有相似之处，敢于深入，出其不意。
西域的喜讯传来没几天，却从朝鲜传来了劝降失败的消息。汉武帝勃然大怒，立即将卫山诛杀，然后派人通牒荀彘和杨仆，若不能消灭卫氏朝鲜，就不要活着回到长安。
卫山的被杀，彻底震惊了荀彘和杨仆，他们完全没想到汉武帝竟如此果断和决绝，不给他们任何退路。
正月二十八，趁着夜黑风高，荀彘沿着浿水北上三十里，偷偷的渡过浿水，并从背后发起了对卫右渠的攻击。
猝不及防下，卫右渠被杀得大败，连夜逃回王险城固守。此时，王险城内的总兵力约有两万余人，其它部落都在观望。
二月初九，荀彘抵达王险城下。得知荀彘的到来，杨仆这才从山上下来，和荀彘汇合，共商破敌之计。
和杨仆见面后，荀彘终于知道了为何卫右渠能赶在他渡河之前堵在河口，他一脸愠怒的质问杨仆道：“你为何要提前出兵？如果我能先渡过浿水，必定不会耽搁这么久。”
杨仆虽有些理亏，但碍于面子，不肯承认，还反唇相讥道：“你在浿水西岸被阻两个多月，还好意思来指责本将？若不是你的原因，说不定卫右渠已经归降，何苦在此苦战！”
两个人公说公有理婆说婆有理，最终闹了个不欢而散。
出发之时，汉武帝并没有明确谁为主将。但按照当时约定俗成的习惯，两位将军级别相当时，爵位高者为尊。
然而，杨仆的爵位虽高，兵力却只有荀彘的一半。荀彘自恃兵力优势，又怨恨杨仆率先出击，拒不交出指挥权。
荀彘不肯伏低，杨仆更不愿做小，两人互不相让。最后，荀彘驻扎在王险城西北，杨仆驻扎在城南，各自为战，谁也不听谁的。
两位将军不能做到协调统一，又不愿意看到对方率先破城夺取头功，开启了一种反向协作模式。只要荀彘攻城，杨仆就观望；只要杨仆攻城，荀彘冷眼旁观。
经过一段时间的观察，卫右渠感觉到了荀彘和杨仆之间的不合，灵机一动之下，他想出了一条诈降之计。
三月初二，卫右渠派人前往城南向杨仆归降。对于卫右渠的此举，杨仆求之不得，因为他早有劝降之意。
自从十月攻城失败，杨仆的部下就出现了军心不稳的情况。而且，相比之下，齐地士兵远不如燕代士兵彪悍勇猛。如果一直这样久攻不下，最先崩溃的一定是自己，到时候很有可能落得个卫山的下场。
杨仆欣然答应了卫右渠的归降之意，但卫右渠提出了一个让他颇感为难的条件，那就是让荀彘停止攻城。
杨仆答应不了卫右渠的归降条件，归降一事就此陷入了僵局。
三月十八，荀彘终于受不了这种奇葩的攻城方式，主动和杨仆约定共同出战的日期，杨仆不予回应。
接连几次相约，都得不到杨仆的回应，荀彘心灰意懒，也打起了劝降的主意。然而，卫右渠以不信任他为由，拒绝了他的劝降。
遭到卫右渠的拒绝后，荀彘火冒三丈，不愿意向我归降，那你想向谁归降呢？荀彘怀疑杨仆在暗中招降卫右渠，遂派人监视杨仆。
果不其然，经过多日的侦查，荀彘发现了杨仆和卫右渠暗中来往的踪迹。荀彘勃然大怒，想要当面质问杨仆。
这时，他的副将李九阻止道：“将军切勿轻身犯险，也许卫右渠不是在向楼船将军归降，而是在劝降楼船将军呢？”
“杨仆会投靠朝鲜，这不可能吧？”荀彘皱了下眉头。
“将军不妨想一想，楼船将军先前攻打王险城损失了两千人，却没能建功，以皇上的脾气，必定会治罪于他。况且，他曾屡次拒绝和将军协同攻城。如果此事被皇上知道了，皇上会饶过他吗？”
“嗯，你说的未尝没有可能。杨仆损兵折将，不肯合兵攻城，如今又和卫右渠暗中往来，谁知道他是怎么想的。”荀彘沉吟道。
“如今之计，不如先杀了杨仆，兼并了他的部下，然后向朝廷禀报，说他和卫右渠内外勾结。到时候，只要将军攻下了王险城，杀掉了卫右渠，谁能知道个中曲直呢？”李九建议道。
“不可！”荀彘反对道：“如果杨仆果真和卫右渠勾结，必定对咱们有所防备，咱们贸然攻打杨仆，必定会招来卫右渠。到时候，死的就是我们了。”
“那咱们怎么办？难道就这么一直耗下去吗？一旦皇上怪罪下来，将军危矣。”李九忧心忡忡道。
荀彘沉默不语，低头苦思，过了一会儿，他神秘一笑：“不用担心，本将自有办法。”随后附耳对副将说了几句。
副将听完后，大喜道：“还是将军老谋深算。如此一来，平定朝鲜之功非将军莫属，楼船将军必无生还之理。”