狼山何时建有观音禅院，已不可考，按张謇《重建狼山观音禅院》记：“僧述其长老言，院始建于明，而不详其朝代年月”，而明刻《狼五山志》所附之图，已见观音禅院之图样，其文亦记“海月岩下有观音大士院”。想来明中叶以前，观音禅院业已存在。相传观音禅院的建造起于古时海上漂来一尊观音像，止于山脚。当地人以为灵异，即祀之于海月岩下，后陆续扩建为观音禅院。狼山的成陆约在北宋中叶（天圣九年），而海漂观音的年代当早于此，所以观音禅院的形成最早当开始于北宋中叶。

　　今存观音院为张謇于民国初年重建。彼时张謇年四十而无子，其夫人每岁于观音院一再祈祷，并许下诺言若得子，必写经造像。果然“戊戌儿子（即光绪二十四年正月，公元１８９８年）怡祖（即张孝若，他后来与孙科，袁克定，张学良并称民国四公子）生”，张謇因此写经造像，以报先室之祷辞。后来张謇营造五山时，于民国三年（１９１４年）重修观音禅院。１９１９年，观音禅院的赵绘沈绣楼落成后，他请来佛门高僧太虚来此讲经，并亲于座下听讲，一时成为佛门佳话。为迎请太虚，张謇赠诗：“此生不分脱裟婆，正要胜烦冶共和。过去圣贤空舍卫，相残兄弟战修罗。觉人谁冼心成镜，观世岂闻面皱河。师傥能为龙象蹴，安排丈室听维摩。”听经后，謇又以诗记云：“别院堂依洞，乔林绀杂青。山禽余落污，庭卉送微馨。爱俗应尊佛，皈僧为讲经。坛边休聚石，我老当能听。” 讲经堂建于民国十一年，为重檐歇山顶，四周绕以围廊，下有须弥座台基，颇为壮丽。其前石牌坊题“灵山胜地”亦为张謇所书（灵山乃释迦说法之灵鹫山），牌坊前古树依依，林溪环绕，其上为石拱桥。坊西为天祚山房，是张謇取其后杨吴时天祚岩而命名的，其东为望岩堂，再东为语梅楼，张謇与梅兰芳先生相善，曾邀梅先生赴通表演，据说梅先生一度在此盘桓，张謇以此名之以示纪念。