『延喜式神名帳』に載せる「阿波国麻殖郡 忌部神社」は名神大社にも列していたが、中世以降、兵火などにより所在が不明となり、近世以降、複数の神社が式内・忌部神社を主張していたため、明治4年（1871年）に暫時「所在地不明」のまま国幣中社に列格し、翌5年に麻植郡山崎村（現 吉野川市山川町）の村社忌部神社を式内忌部神社に決定した。これに対して美馬郡西端山（現 つるぎ町貞光）の五所神社（現 当社境外摂社御所神社）が式内忌部神社を主張し、翌々7年（1874年）に改めて山川町の忌部神社を比定するという太政官布告が出されたものの、その後も論争が続いたため、同14年（1881年）に五所神社を式内忌部神社に変更したが、今度は山崎側が大いに反発し、結局太政官による妥協策として名東郡富田浦町（現 徳島市）に新たな社地を定めるという通達を出し、同18年（1885年）に眉山中腹の現在地を選定、そこに鎮座する郷社金刀比羅神社に仮遷座して五所神社を境外摂社とし、社殿竣工により同25年（1892年）5月15日に現在地に遷座した。

（Wikipedia忌部神社より引用）