冉闵登上帝位才2个月，石虎的儿子之一、新兴王石祗，也在襄国（今河北邢台）称帝，对冉闵政权对峙，他号召各族联合起来反抗冉闵。双方征战了1年多，最终在公元351年三月，冉闵杀了石祗，灭了后赵政权。冉闵是汉人，他对反对自己的胡人特别痛恨，他曾言：“内外六夷，敢称兵杖者斩之！”这实际上就是屠杀胡人的命令。他利用胡汉矛盾，煽动民族复仇情绪，杀了20多万胡、羯等族百姓。他还与东晋联合出兵，共同镇压胡人，结果北方的混战就更激烈了。
武悼天王冉闵像
冉闵虽然灭掉了后赵，但自己的实力也大大削弱了。公元352年四月，前燕王、鲜卑人慕容儁，派大将军慕容恪领兵10万讨伐冉闵。冉闵带兵迎战，他手下士兵不足1万。不过冉闵的确是个军事天才，他带领手下十战连胜。然而鲜卑的慕容恪也很会打仗，他见无法取胜，就改变战术。于是，战争形势马上转变，冉闵很快就陷入了鲜卑军的重重包围中。后来冉闵寡不敌众，兵败被俘。