山穷水尽之时，幸得晋朝幽州刺史段匹襌派人来邀。穷极无路，刘琨只得前往蓟城，依附段匹襌。
段匹襌一直很敬崇刘琨，两人相见，相约共扶晋室，尽忠朝廷，并结为兄弟。同时，两人又一起上表远在建康的司马睿，拥戴他为皇帝。
段匹襌，东部鲜卑人，“种类劲健，世为大人”，其父务勿尘就是王浚嫁女与之的那位鲜卑首领。务勿尘被晋朝封为大单于时，段匹襌也受封为左贤王，率众帮助晋朝征讨匈奴刘氏。务勿尘病死后，段匹襌的哥哥疾陆眷在叔父涉复辰拥立下承袭大单于封号。
刘曜攻打洛阳时，王浚派疾陆眷等人与晋军一起攻打襄国的石勒。段匹襌的堂弟段末杯追击石勒被俘，石勒不仅没杀他，反而送还于疾陆眷。为此，东部鲜卑与羯胡结盟，双方不再战斗，晋将也不能阻止。
段匹襌一直不赞成兄长与石勒休战的作法，并尊刘琨为大都督，遣兵准备攻击石勒。大惧之下，石勒派人厚赂段匹襌堂弟段末杯。段末杯既想报石勒先前不杀之恩，又想乘段匹襌在外征战侵夺他的地盘，便向疾陆眷和涉复辰二人进言，认为他们以单于兄长和叔父之尊，不应该听从段匹襌。他又讲，即使讨伐石勒，一旦有所成功，大功也归于段匹襌一人，对疾陆眷单于没有什么好处。此计果然奏效，东部鲜卑主力引军而还。
段匹襌孤掌难鸣，只得回军。不久，疾陆眷单于病死。段匹襌闻讯，率军赶回为哥哥奔丧，段末杯声言他是要回来篡位，半路设伏追击，段匹襌败走。
段末杯趁机杀掉堂叔涉复辰及其子弟二百多人，自立为单于。
因此，刘琨依附段匹襌之时，这位鲜卑人自己也处于多难之秋。惺惺相惜，两人关系开始处得很不错。
当初，段匹襌在奔兄丧时，刘琨的儿子刘群也和他一起。段末杯大败段匹襌，段匹襌逃走，刘群被俘。段末杯抓住刘群后，“厚礼之”，答应推戴刘琨为幽州刺史，结盟共击段匹襌。刘群年轻无识，写信给父亲刘琨，并派密使送信。半路，段末杯派来为刘群送信的人被段匹襌手下抓获，搜出密信。
对此，刘琨一无所知。忽然受到段匹襌“邀请”，刘琨便欣然前往。两人坐定，段匹襌拿出刘群的密信，对刘琨说：“我也没有怀疑您参与此事，特意把真情告知您。”
刘琨览信过后，神情凝重。良久，他推心置腹地说：“我与您结盟，志在恢复晋室，以雪国家沦亡之耻。即使我儿子的书信送至我处，也不会因一子之故辜负您！”段匹襌不断点头。他一直钦敬刘琨的操节，知道其所言发自内心，便想听任刘琨还其所属部伍。
其间，段匹襌的弟弟段叔军把兄长唤至厅外，劝道：
“我们本来就是胡夷外族，过去能让晋人畏服，正是我们人多势重的原因。如今，我们家族内部骨肉相残，正是晋人良图之期。如果有人奉戴刘琨从中起事，恐怕我们家族会尽被屠灭！”
段匹襌闻言，深觉有理，于是他下令把刘琨软禁起来。
消息传出，刘琨长子刘遵害怕也被囚杀，与刘琨僚属一起闭门自守。由于兵少，段匹襌兵将很快攻下营垒，执捕众人。
“（刘）琨既忠于晋室，素有重望，被拘经日，远近愤叹。”连被段匹襌任命的代郡太守和刘琨任命的雁门太守也都一起密谋计议，准备联召军兵，袭击段匹襌，救出刘琨。不久，两个太守谋泄被杀。段匹襌虽杀掉数人，自己也内心惶恐。
刘琨自被拘禁，“自知必死，神色怡如也。为五言诗赠其别驾卢谌”。此诗，即是文章开篇那首《重赠卢谌》。
东晋朝廷方面，权臣王敦派人密告段匹襌，让他杀掉刘琨。段匹襌外迫于王敦，又内惧属下造反，就声称皇上诏旨，下令诛杀刘琨。