　建武2年（1335）7月23日、護良親王弑（しい）せらし時、御側に侍りしい宮人南の方（藤原保藤の女）宮の御首を棺に収め御他界の状況を中央（南朝）に報ぜんがため従者を伴い足柄街道を追っての目を避けて此の地黄瀬川の辺りまで到着せり。時に8月1日黄瀬川の水漲り渡渉すること困難なりしかば、暫時河岸に休息なされ御棺を見るに長道中を運び奉る事の困難なる状を拝し、止む無く河岸近く古びたる小祠の辺りに地を求め宮の御首級を葬り楠の一樹を植え、以って墓印となす。時に北条時行は家令畠山国清の手兵併せ５千の兵を挙げ南朝に属せし延元2年（1337）まで伊豆の藩主たりし間に、御首級墳を石祠となし、更に神社となし現在に至る。
　当時足利氏の詮索を避けんがため態と御祭神の名を秘し神社下馬札を諷示するため白馬の伝説を後世に伝えるものなり。白馬の伝説を考察するに白馬即ち白騎即ち白旗なり。白旗は源氏なり。足利氏は源氏なり親王の霊廟を建立せる北条時行は源氏なり。御祭神大琴の宮と共に白旗を忌むは当然の事なり。邑人子々孫々世の変遷にも絶つことなく、密かに此の口伝を固く守り続け御祭神の文献存せざる為、追及する事なく木彫御首級の御神体と白馬像御首級墳を大切に保存し、今日に至り」御祭神漸く明確になり、承認を得たるは御神威の程益々宏大なりと言うべきなり。茲に625年の星霜を経貴重なる史実を得たるは真に喜ばしき限りなり。