于是司马越接受冀州长史刘舆（之前弄死司马颖的那位）的建议，指派刘舆的弟弟刘琨替代司马腾，以新任并州刺史的身份前去与刘渊部队交战。
（二十）
得知自己的兄弟指派了新的并州刺史来做自己的替死鬼时，司马腾终于舒了一口气，未免夜长梦多，他火速带着自己的大部队撤出了并州境内，跑去邻近的冀州避难了。
刘琨原本是来顶班的，并没有带太多部队，得知司马腾居然走的时候连部队都带走了，无奈之下刘琨只得在并州境内自行招募士兵。但是久经战乱的并州募兵很困难，到达晋阳的时候刘琨才招募了数百人。不过，刘琨的安民行动做得相当到位，一上任便清扫了县城，将遍地的死尸和毁坏的建筑物残骸都清理掉了，又将破败的民居和城墙进行了修补和加固。同时，到处张贴告示，让外出逃难的百姓回城，政府给予他们无人认领的田地耕种。很快，陆续有外出逃难的百姓回城，这一系列举措做下来，晋阳城勉强恢复了日常秩序。
而此时的刘渊，得知新任的并州刺史刘琨是个白面书生，便决定直捣晋阳，将并州这根最顽固的钉子拔出，可是手下纷纷劝阻他不要这么做。刘渊像后世的努尔哈赤诧异熊廷弼能力一般诧异地问道：“难道说，有刘琨在，晋阳就守得住？”他手下熟知刘琨能力的人进言道：“司马越战刘乔损兵折将尚不能打通会师之路，而刘琨一战便溃刘乔，这绝不是靠的上天眷顾。有刘琨在，晋阳城必能守住。”