寺伝によれば弘仁6年（815年）に現在地よりおよそ2km離れた安楽寺谷に、空海（弘法大師）が堂宇を建立し薬師如来を刻んで本尊としたという。往時は温泉湯治の利益で、山麓から広大な寺域を誇り十二宇門甍を接し鈴鐘の響きが絶えることがなかったが、天正年間（1573年 – 1592年）に長宗我部元親の兵火により焼失し荒廃した。 万治年間（1658年 – 1661年）に現在地に駅路寺であった瑞運寺を併合して再建される。
承応2年（1653）巡拝した澄禅の『四国遍路日記』では「駅路山浄土院安楽寺」、貞享4年（1687）刊行の『四国辺路道指南』には「六番安楽寺又は瑞運寺とも云う」、元禄2年（1689）刊行の『四国徧礼霊場記』には「瑠璃山日興院瑞運寺」、寛政12年（1800）刊行の『四国遍礼名所図会』には「六番温泉山安楽寺」と名称が変遷している。

（Wikipedia安楽寺（徳島県上板町）より引用）