　当地は「風土記稿」によると、「昔より加茂社の建る地なれば、ただちに村名とす」とあり、また、天正10年（1582）の「成田分限帳」に「三十六貫文武州加茂多門兵衛」と記されている。
　当社は、加茂宮村を縦貫する中山道の側に鎮座する。江戸期の浮世絵師、渓斎英泉の描いた「木曽街道上尾宿」の図には、緑深い森の中から「加茂大明神」の幟旗が掲げられている。
　創建年代は不詳であるが、山城国一宮の加茂別雷神社を勧請したものと伝える。「風土記稿」は、当社を「延喜式」神名帳記載の足立神社とする説があるが正しき証左なしと否定している。
　別当は、真言宗吉祥院で、雙樹山大恵寺と号す。本尊は薬師如来像を奉安する。
　「明細帳」によると、明治6年4月に村社となり、同40年5月、大字加茂宮字中道の無格社稲荷社、字鍛冶の無格社稲荷社、字四分一の無格社稲荷社・同境内社稲荷熊野合社、字中島の無格社稲荷社、字構の無格社天神社、同41年7月、字原殿の無格社稲荷社を合祀した。
　大正8年10月、拝殿は焼失したが本殿の類焼は免れた。本殿は一間社流造り、壁面には加茂別雷神社の神事である「競べ馬」の図が彫られている。なお、境内にある文政10年（1827）8月の石燈籠には、「御遷宮本社再建立」とある。