創建は永承5年（1050）、源義家の勧請によると伝えられる。
大橋を荒川（現隅田川）にかける時、奉行伊奈備前守は当社に成就を祈願し、文禄3年（1594）橋の完成にあたり、その残材で社殿の修理を行なった。以後、大橋のかけかえごとの祈願と社殿修理が慣例となった。
また、このあたりは材木、雑穀などの問屋が立ち並んで川岸とよばれ、陸路奥州道中と交差して川越夜舟が行きかい、秩父・川越からの物資の集散地として賑わった。