　当社の創立は不詳であるが、初めこの所に神功皇后を勧請して大渡里明神として祀り、後に武内宿禰命や各神を合祀して産土神として奉崇したものである。武内宿禰命は文治5年（1190）筑後国三井郡（久留米市）の高良大社より勧請したと伝えられている。
　慶長7年（1255）遷座した際の棟札が現存している。この地の氏族入江氏や武田氏の尊崇が厚かったとも伝えられ、入江氏の家紋は「左三巴」であり、当社の紋所と同じである。
　上下大明神は、慶長9年（1604）時の当地代官長谷川長綱公が京都加茂上下大明神よりこの所に勧請し、白髭神社の相殿に祀ったと云われる荒神社、金山社は通一丁目に在ったものを明治43年（1910）に当社に合祀したものである。

　慶長12年（1607）、初代稚児橋の渡り初めの日、渡り初めの行列の前に、突然川の中から一人の童子が現れ、人々があれよあれよと見守る中、橋を渡り姿を消してしまったそうな。
　人々は「あれは巴川の河童が童子に姿を変え、渡り初めをしたのだ」と噂し、いつしか「稚児橋」（河童橋）と呼ぶようになったと言います。
　白髭神社では、元気な童子（河童）の貴重な伝説にちなみ、巴川の「かっぱ様」を、子供の健やかな成長を助ける守り神として大切にお祀りしていく所存です。
　この神像は、桜橋町の西谷昌彦様に彫っていただきました。