传说达摩将衣钵法器传给慧可后,便离开少林去禹门(今洛阳龙门),禅栖在千圣寺,于东魏孝静帝天平三年端坐而逝。达摩死后,他的尸体按照佛教的礼仪装殓入棺,后隆重地移葬在熊耳山,人们又在河南省陕县的定林寺内为他建造了一个墓塔,以作纪念。
东魏使臣宋云因事出使西域久而未归,对于达摩辞世的事一无所知。达摩死后两年,宋云从西域返回洛京。在途经葱岭的时候,迎见达摩一手拄着锡杖,一手掂着一只鞋子,身穿僧衣,赤着双脚,由东往西而来。二人相遇后,宋云急忙停步问道:“师父你往哪里去?”达摩回答说:“我往西天去”。接着又说:“你回京以后,不要说见到了我,否则将有灾祸。”二人道罢,各奔东西。
宋云以为达摩给他说的是戏言,丝毫没有介意。回到京城以后,向皇帝复命交旨时,顺便提到了他途经葱岭遇见达摩老祖回西天的事情。谁知话音未落,东魏孝静帝就发了火,怒斥宋云欺君并投入南监。后来为辨真假,遂把达摩墓穴挖开,撬开棺盖一看,果然棺内没有尸体,只剩了一只鞋子。宋云蒙受的不白之冤遂平反昭雪。