寺伝によれば、弘仁13年（822年）に、嵯峨天皇から「補陀洛東門（ふだらくとうもん）」の勅額を受けた空海（弘法大師）が、三面千手観世音菩薩を刻んで堂宇を建てて安置し開創したという。空海が唐から帰国の前に有縁の地を求めて東に向かって投げたといわれる五鈷杵は足摺岬に飛来したといわれている。寺名は、五鈷杵は金剛杵ともいわれそれから金剛を、観音経の「福聚海無量」から福を由来したとされている。金峰（きんぽう）上人が住持の時、修行を邪魔する魔界のもの達を呪伏すると、そのもの達が蹉跎した（地団太を踏んだ）ことから、山号を月輪山から蹉跎山に改めたといわれる。
歴代天皇の祈願所とされたほか、源氏の信仰が篤く、源満仲は多宝塔を寄進、その子頼光は諸堂を整備した。平安時代後期には観音霊場として信仰され、後深草天皇の女御の使者や和泉式部なども参詣している。
鎌倉時代後期（建長から弘安期）には南仏上人が院主となって再興したと伝えられ、また阿闍梨慶全が勧進を行ったとも伝えられている。南仏を「南仏房」と記す史料もあり、南仏（房）は慶全の別名であったとみられる。
室町時代には尊海法親王が住職を勤め、幡多荘を支配していた一条家の庇護を受けた。戦国期に一時荒廃したが江戸時代に入って土佐藩2代藩主山内忠義が再興した。

（Wikipedia金剛福寺より引用）