兔死狐悲，看到胡图哈的凄惨遭遇，众多鲜卑部落首领不由扪心自问，若是换成是自己，轲比能是否会饶过，答案是否定的。
上党的汉军是顽强的，至少目前鲜卑人还没有看到任何破城的希望。再加上心忧位于后方的族人，有不少人都生出了退兵的心思。只是轲比能积威日久，暂时还没人敢当面对轲比能提出想要撤兵的想法，但在之后的攻城时“消极怠工”的现象也是越来越明显。
轲比能见此也是有火不敢发，毕竟他与众多鲜卑部落首领间并不是君臣关系，而只是合作关系，真要是把人逼急眼了，联合起来反抗自己，那也是桩麻烦事。要说退兵的心思，轲比能也是早就有了，但先前当众发誓要攻破上党，这个誓言把轲比能逼得不好说出撤兵的话，有心让其他人提出来，可那帮胆小鬼又一个个做了缩头乌龟，谁也不肯当出头鸟。事情也就这么僵持了下来，可时间拖得越是久，轲比能心中的不安就越是明显。
匈奴人已经指望不上了，呼厨泉、去卑的被擒，仅剩下的刘豹带着残部躲进了深山老林，眼下轲比能能依靠的仅剩下鲜卑人。步度根跟蒲头已经率部去跟马超的伏波军周旋，能跟轲比能商议大事的，就只有素利那个滑头。
“我决定撤兵。”被轲比能认为滑头的素利忽然在鲜卑人的军事会议上宣布了自己的决定。轲比能心中不由狂喜，总算是等到有人主动提出来了，但身为此番出兵的盟主，态度还是要表现的。轲比能一拍桌子，怒声呵斥素利道：“素利，你想动摇军心？”
“我说轲比能，都这时候你就别硬撑了，上党咱们攻不下来，趁着汉军还没完成合围，趁早撤兵才是上策。反正你撤不撤是你的事，我是要撤了，谁要是想跟着你轲比能在这等死，我不拦着，但也希望你不要拦我，免得伤了你我的和气。”素利丝毫不让的威胁轲比能道。
“……素利，你想要造反？”
“呵呵……轲比能，你又不是我素利的主子，何来造反一说？当初跟着你一同南下，那是因为有好处可得，但现在继续跟着你已经捞不到好处了，那我为何还要陪你在这浪费时间。汉军派出去袭扰我们后方的军队你不理会，不心疼自己族人的死伤，可我心疼啊，所以我是要走的，而且是马上就走。愿意跟我一起走的，我欢迎，不愿意的，我也不强求。”素利说完这话，压根不理会轲比能的态度，转身就往帐外走。
“站住！我家大王还没发话，我看谁敢走！”郁筑健拦住了素利的去路，怒声喝道。
“哼，郁筑健，莫非你以为在这鲜卑只有你一个勇士？”素利能哼一声，成律归、弥加立刻上前准备与郁筑健动手。
“住手！”轲比能出声喝道。
看着轲比能站起身环视帐内众人，众人纷纷眼神躲闪，不愿与轲比能对视。看到此情此景，轲比能就知道素利为何今日敢如此大胆，原来除了自己的亲信外，其他人都已经私下与素利通了气，准备一起向自己发难。
“……既然大多数人都认为应该撤兵，那就撤兵吧。但撤兵也要有个章程，若是一窝蜂的后撤，那岂不是给了汉军乘胜追击的机会。”
见轲比能服软，帐内的众人不由神色缓和下来，唯一感到心虚的就是素利，以他对轲比能的了解，此时轲比能的表现并不符合他往日的性格。自己方才与他针锋相对，鬼知道他背后会如何给自己好看。那些墙头草压根就指望不上，在离开了轲比能的营帐以后，素利第一时间找来成律归、弥加这对心腹，叮嘱二人立刻集结人马，先行出发。不管轲比能打算如何报复自己，首先必须要够到自己才行，离得轲比能越远，自己就越是安全。
得知素利率部离开了营地，