始建於东晋孝武帝太元年间（西元四世纪末期），系由印度僧人不如密多尊都所建，原名宝泉寺。据传明建文帝因宫庭动乱，被逼出走，在此削发为僧；後人重修时，以其曾为帝楼，故改名为栖霞寺。

清末，太平天国败亡，英王陈玉成之子陈三元出家於此，法名遇缘。民国二十四年（一九三五年）圆寂，葬於会龙山麓，墓碑上刻「生於江南上元县桂花巷金沙井陈氏子」，并附墓联∶「勘透浮生归佛国，最难烈士结芳邻」。

一九八八年至一九九八年不断修建，现存大雄宝殿、栖霞阁、观音殿、玉佛楼、僧房等建筑，玉佛为晋朝古物。寺内有碑三块，珍藏《大藏经》一部。

现任方丈佛源法师，八十馀岁，湖南省桃江人，一九四二年出家，师从广益和尚，毕业於南京焦山佛学院，兼任广东省佛教协会副会长，南岳祝圣寺方丈，韶关南华寺方丈等职。监院明觉法师，七十馀岁，湖南省宁乡县人，一九七六年出家，师从佛源法师，兼任湖南省益阳市佛教协会会长。

寺址∶湖南省益阳市会龙山

电话∶(0737)4215775