　当社は平安末期、永承6年（1051）源頼義・義家父子が建立したと伝えられている。即ち、前九年の役が勃発するや、頼義、義家勅命を奉じ、奥州の安倍氏の反乱を鎮圧する途次、この豊岡の地に仮陣屋を設けて暫く逗留、軍勢を集めると共に、戦勝を祈願するために当社を建立、乱治まり帰還の折に再び当社に寄り、戦勝を報告、額を奉納したという。
　以来、武将、兵士、一般大衆の尊崇厚く、鎌倉時代には里見太郎義俊の三男豊岡三郎という者、此の地におり当社を崇敬した。
　寛文2年（1662）2月、幕府代官諸星惣左エ門政明らが中心となり、社殿を大修築し、盛大な祭典を挙行した。
　江戸末期には江戸の火消し新門辰五郎、明治期には乃木大将の参拝などあり、常時参拝者が絶えなかった。
　境内には義家の腰掛石、社宝として市重要文化財蕨手太刀がある。
　なお当地区には、「土用寒村」「十八日村」などの伝説、古跡が多い。