　寛永元年（1748）一万石の譜代大名になられた大岡越前守忠相公は、西大平藩主として三河国額田郡西大平村（現在地）に陣屋を置いた。忠相公は、領地に近い三河国宝飯郡豊川村にある豊川稲荷の本尊「咤枳尼眞天」を厚く信仰した。江戸赤坂の藩邸内に豊川稲荷の分霊社として赤坂稲荷を祀り、ここ西大平陣屋内に大岡稲荷として社殿を建立し、「豊川咤枳尼尊天」を本尊として祀った。
　現社殿は、忠相公没後250回忌の記念事業として平成14年（2002）に再築されたもので、大岡家の守り本尊として代々引き継がれ守られている。なお、毎年4月には大岡稲荷奉賛会が中心となり例大祭が行われている。

　西大平藩陣屋は、大岡越前守忠相が三河の領地を治めるために置いた陣屋です。大岡忠相は旗本でしたが、72歳の時に前将軍吉宗の口添えもあり、寛延元年（1748）閏10月1日に三河国宝飯・渥美・額田3郡内で4080石の領地を加増され、１万石の大名となりました。西大平に陣屋が置かれたのは、東海道筋にあり、江戸との連絡に便利であること、三河の領地がもっとも多かったことが考えられます。
　しかし、大岡忠相が藩主であったのは、わずか3年間で、宝暦元年（1751）には亡くなっています。 2代目は忠宣が継ぎ、廃藩置県まで7代にわたって大岡家が領地を治め続けていきます。
　大岡家は江戸に常駐する定府大名で、参勤交代がありませんでした。家臣団の大部分は江戸藩邸に住んでおり、陣屋詰めの家臣は、多い時期でも郡代1人・郡奉行1人・代官2人・手代3人・郷足軽4～5人程度でした。