慧远禅师年轻云游时曾路遇一位嗜烟的行人，两人走了很长一段山路，然后坐在河边休息。那位行人给了慧远一袋烟，然后他们就在那里谈话。由于谈得投机，那人便送给他一根烟管和一些烟草，慧远高兴地接受了行人的馈赠。
慧远与那人分开以后，心想：这个东西令人十分舒服，肯定会打扰我参禅，时间长了一定会恶习难改，还是趁早戒掉的好。于是就把烟管和烟草全部都扔掉了。
过了几年，他又迷上了《易经》。那时候正是冬天，地冷天寒，他于是写信给他的师父，索要一些寒衣。但是信寄出去已经很长时间，山上的雪都开始融化了，师父既没有寄衣服，也没有任何的音信。慧远于是用易经为自己占卜了一卦，结果算出那封信根本没有送到。
他心想：“易经占卜固然准确，但如果我沉迷此道，怎么能够全心全意的参禅呢？”从此以后他再也不接触易经之术。
再之后他又迷上了书法，每天钻研小有所成。有几个书法家居然对他的书法赞不绝口。
他转念想到：“我又偏离了自己的正道，再这样下去，我很有可能就成为书法家，而成不了禅师了。”