寺伝によれば、空海(弘法大師)がこの地で修行をしていた際に、弥勒菩薩が多くの菩薩を連れた姿を感得した。そこで霊木に弥勒菩薩を刻み堂宇を建立して本尊として安置したという。空海の甥に当る真然僧正が金堂を建立、祈親上人が講堂、三重塔などを建立し七堂伽藍の大寺院となったと伝える。
天正年間(1573年 – 1592年)に長宗我部元親の兵火によって焼失。万治2年(1659年)に徳島藩主蜂須賀光隆によって、現在地より下った谷間に再興された。文化12年(1815年)に元の山上への建て替えを願い出て、3年後、低地の谷間から石段を50段ほど上った現在地に移転した。

Wikipedia常楽寺(徳島市)より引用)