　寺伝によれば、白鳳14年（686）僧行基が諸国行脚に際し、大岡山の山頂に自刻の十一面千手観世音像を安置し創建したという。
　その後、寺勢盛大を極め、16の坊舎を擁していたと伝えられるが、天正2年（1574）の兵火で、堂宇はことごとく焼失し、東之坊（本坊）を残すのみとなった。
　天正13年（1585）に、中村一氏が岡山城の築城にあたり、東之坊を地頭に移転し、大岡山山頂に城郭を構築したが、落城後、享保元年（1716）に至り、時の住職寂堂法印が再び現在の地に堂宇を再建した。以後、水口城主加藤氏歴代の祈願所となった。
　本尊十一面千手観世音菩薩は、家内安全・商売繁盛・進学・就職・厄除等諸願成就の守護仏で、近江西国三十三箇所第二十六番霊場として多数の参詣者がある。また、恵心僧都の作で、阿弥陀如来立像は、ともに国の重要文化財に指定されている。
　当寺には、史跡が多く、鴨長明発心之所であり、巌谷一六の記念碑や、芭蕉の　「命二つ中に活きたる桜かな」　の句碑等がある。この句に詠まれた桜は「大岡寺の桜」として水口八景色の一つに数えられている。　水口町