　紀州（和歌山県）熊野本宮の神主さんが諸国行脚の途中、この地に足を留めて祭祀したのが始まりであると云われている。
　ある時、この地の神主さんが高い丘を作って人々を救うという不思議な夢を見たので、村人とはかって神社の裏山に土を盛り上げた。
　その後、安政の大地震が起こり、津波のため多くの死者が出たが、高塚の人達はこの丘に避難して被害を免れたと言い伝えられている。
　また一説に大津波のため、住んでいた人達が殆ど死んでしまった。村人は津波の犠牲者をこの地に葬り、たくさんの砂を浜から運んで高い塚を作った。（今でも浜垢離（はまおり）という習慣として残っている。
　大きな墓であったので大墓（つか）、後に高い塚、高塚と呼ぶようになり、地名になったと云われている。