　当山に残る「御霊山大明神由来」によると、江戸時代のはじめ、駿府が幕府の直轄領になって間もなくの頃、駿府町奉行の役人に松井五郎八という者がおりました。五郎八夫婦には子供が無く、夫婦は浅間神社に熱心に祈願した結果、程なく妻は身ごもり、懐胎から17ヶ月もの月日が経って、ようやく男の子を授かりました。夫婦はこの子を八十郎と名付け、大変寵愛しました。八十郎は成長に従い才智優れ、また大変綺麗好きで、とかく大地を踏むことを嫌ったとのことです。ところが、八十郎が13歳のとき、友人に誘われて中島の浜へ遊びに行った折に落馬し、怪我はなかったものの、手足が土に汚れたことを苦にして数日後には床に臥せってしまいました。夫婦はあらゆる治療を施しましたが、その甲斐なく、八十郎は1月18日に亡くなりました。法名を高林童子と言い、伝馬町の宝泰寺に葬られ、今もその石碑が残されています。
　翌年の春、時の天皇の命を受けた公家衆が江戸へ向かう途中、内密の勅命を受けた吉田殿が五郎八を呼び出し、息子の死後何か変わったことはないかと尋ねました。すると五郎八が言うには、夢に白綾の袴をはき、白綸子（りんず）の直垂を着た息子八十郎が白馬に乗って現われ、「我こそ駿府の国の内にて神となる」と言ったと答えました。すると吉田殿は、不思議にも実は、天皇も五郎八と全く同じ夢をご覧になり、「手越村と申す所の守護神となさしめ給え」と八十郎が天皇に願った旨を告げました。
　その翌年、承応2年（1653）、天皇の命によりこの手越村に社殿が建てられ、「二位御霊大明神」として祀られました。その同じ年、八十郎の祖父にあたる松井正近（武田信玄の末弟である信龍の孫）が、この社殿の脇に庵を建て、これが後に御霊大明神の別当（神社を管理する寺）となり、高林院と名付けられました。神仏混交としての御霊神社と高林院（寺）は以後、駿府の武家の祈願所となりました。
　当山の「手越名灸略縁起」によれば、この松井正近は、「慶安の変」の折、由井正雪を捕縛した褒賞として、700石を賜ったとのことです。
　明治初年の神仏分離令により神社は取り壊されましたが、「御霊大明神」（八十郎）は、「御霊尊」と改称されて、現在もその尊像が鎮守堂に祀られています。