　寿永年間（1182-85）、因幡国（島根県）に住んでいた伊賀平内左衛の娘は建礼門院（高倉天皇の皇后）に仕え、少納言高尾と名乗っていました。源平の合戦で平家が敗れた時、建礼門院から暇をもらい郷里因幡国へ帰ることになりましたが、その帰路で盗賊に襲われ金売り吉次に助け出されました。
　それからというもの高尾は吉次を恋慕い、吉次の住む奥州を目指し旅に出ました。しかし、この稲葉の地に来た時、すでに吉次が亡くなったことを知らされたため、高尾はこの地に庵を結び彼の霊を供養しました。
　その後、高尾も病のため亡くなりましたが、その死に際に故郷因幡の高尾大明神を勧請してくれるようにと遺言したため、村人は神社を建て高尾大明神をこの地に祀ったと言われています。
（壬生町教育委員会）