然而不幸的是，当年解缙在朝中任官时桀骜不驯，因此得罪了很多人，而这些人现在还在朝中任官，之前早就想整整解缙了，只是因为其一直待在江西老家找不到机会而已，如今解缙自己撞枪口上了，那就别怪他们不客气了。于是解缙刚一离家，消息便传到了京城的政敌耳中，而当解缙刚一踏进京城，便立刻便受到了举报，罪名就是前面提的“不忠不孝”，本来建文帝听说解缙来了还很高兴，想见见这位大才子，但建文帝是一个特别尊崇礼法的人，一听解缙的这些行为，那还得了，发配边疆。就这样，解缙背着个不忠不孝的罪名被贬到了河州卫（今甘肃临夏西北）当了一名小吏，他的希望又破灭了。
这一次的贬黜对解缙影响巨大，他的人生信仰开始出现动摇，难道刚正不阿注定没有前途，只有阿谀奉承才能得到赏识吗？不管解缙有多么不情愿，塞外的黄沙终究磨去了他的心气。万般无奈下的解缙终于向现实弯腰了，他向当时深受建文帝信任的礼部侍郎董伦写了一份言辞恳切的书信，希望董伦能够帮助自己。董伦在接到解缙的书信后便向建文帝推荐了解缙，在董伦的推荐下建文帝便将解缙从河州卫给召了回来，并任命他为翰林待诏。就这样，解缙成了他早年最讨厌的那一类人，但解缙就是解缙，他发誓即使是趋炎附势，他也要成为其中的佼佼者。不过虽然解缙重新回到了京城，并且还担任了翰林待诏，重新回到了中央，比之前在河州卫的情况要好多了，但建文帝没有给他什么机会，终建文一朝解缙都没有得到重用，始终就是一个翰林待诏。