　宝暦10年（1760）瑞泉寺20世呑舟和尚が創建、本尊は行者菩薩像。
　そのことから行者堂と云われた。昭和17年（1947）瑞泉寺31世道本蜜成和尚を寺号開山とし、本尊行者菩薩の金剛杖や金剛般若経と縁深いところから、紫雲山金剛寺と改称した。
　堂前の石仏三十三観音は明和4年（1767）に作られ、以前は街道に面して並んでいた。本尊行者菩薩のほか薬師如来像、なるみ焼きの十六羅漢像が寺宝としてある。
　町並みの中にある寺だけに、江戸時代には寺子屋として使われていた。