　元亀2年（1571）、織田信長は大軍で比叡山の社寺堂塔を焼き払い、僧俗3000人を殺した。そして、明智光秀に命じ坂本城を築かせた。その時、比叡山内にあった石地蔵を全部ひきずり降ろし、城の礎石にした。
　その後、本能寺の変で、信長が倒れた2年後の天正12年、豊臣秀吉は浅野長政に命じて大津城を築かせた。築城には、坂本城の石地蔵を運んで礎石にした。関ケ原の合戦の翌年慶長6年（1601）、徳川家康は、藤堂高虎に命じ、膳所城を築かせたがこの時も大津城の石地蔵等を運んで礎石とした。明治3年膳所城が廃城になった時、本丸、二の丸、三の丸跡から、これらの石地蔵が約300年ぶりに姿を現した。以後城跡の各所に放置されていたが、昭和38年有志相寄り、浄財の寄進もあり、この祠が建てられた。現在、約60体が祀られている。