　慈雲禅寺は今から凡そ4百数十年前（16世紀末）一安禅師によって、聖観世音菩薩を本尊として開創された臨済宗妙心寺派の禅寺である。
　臨済宗は、お釈迦様の正法を受け継ぎ、初祖達磨大師、宗祖臨済禅師、白隠禅師に及ぶ禅宗で、自心佛であることを信じて坐禅に励み、本当の自分に目覚め、脚下を照顧（みつ）めて生きることを信条にしている。
　慈雲禅寺の開創後100年の記録は、宝永4年（1707）の震災でことごとく焼失して定かではないが、宝暦年間（18世紀中頃）に至り、長泉智牛和尚によって再興された。
　長泉智牛和尚は、豊後国（大分県）に生まれ、白隠禅師に師事した高僧で、常に農業の振興に努め、当時やせ地に悩む三保の農民を救うため、遠く九州からサツマイモの苗を取り寄せ、農民にすすめた。サツマイモは砂地でも良く育ち、たちまち三保全土に広がった。そして、慈雲禅寺の芋和尚と親しまれ、長い間初穂七俵を贈る船が出されたという。
　しかし、安政元年（1854）の大地震により、諸堂は全壊、続いて明治維新で寺領の概略没収された。
　明治5年（1872）学制発布に基づき、翌6年、本堂に入江小学校の前身である入江学舎が創立されたが、その運営は困難を極めた。その中で、時の住職瑞道和尚は、読み書きを学ばせ、体操の代わりに縄をなわせ、女子には子守をさせながら、畑の桑を摘ませて養蚕を行い、機織りをし、その利益で筆や紙を買い、学校を続けたという。
　昭和に入り、第二次世界大戦の空襲によって、諸堂全て焼失、戦後焼け野原から、正道和尚・光堂和尚により、庫裡、本堂、山門等再建し現在に至る。