传说，当初达摩(天竺国香至王的第三个儿子，自幼拜释迦牟尼的大弟子摩诃迦叶之后的第二十七代佛祖般若多罗为师)到中国传化佛法，在南京时因与当地的高僧神光对佛学的认识有分歧意见，达摩便主动让步，离开雨花台渡江北上。

　　达摩走后，神光听说刚才的人就是印度高僧菩提达摩，感到惭愧至极，连忙追赶，打算向达摩赔礼道歉。达摩在前边走，神光在后面紧追，一直追到长江岸边。达摩急着过江，停立江岸，只见水域茫茫，既没有桥，也没有船，就向岸边的一个老太太化了一根芦苇飘然过江。而神光因对老人无礼，即使用了一捆芦苇，也不能顺利渡过，还险些溺入水中，只得懊悔而归。

　　达摩过江后，手持禅杖，信步而行，见山朝拜，遇寺坐禅，北魏孝昌三年（公元527年）到达了嵩山少林寺，并把少林寺作为他落迹传教的道场。广集僧徒，首传禅宗。现在少林寺碑廊里还有达摩一苇渡江图像碑，前来朝觐游览的人络绎不绝。