富貴寺境内は、平安後期に創建されたと考えられる寺院境内で、のちに国東半島に所在する天台宗寺院の集合体である六郷満山の一つとなった。現在は天台宗寺院である。国東半島中央部に源を発し西北に流れ周防灘に注ぐ桂川の支流蕗川の作る蕗谷に位置する。奈良時代に仁聞が開基したと伝え、貞応2年（1223）の文書に「蕗浦阿弥陀寺」と見えるのが初見である。当時は宇佐大宮司家累代の祈願所であったが、その後南北朝時代になると、天台宗の六郷満山の一末寺となっており、肥後の菊池氏とともに懐良親王を支えた調氏の影響下にあった。この調氏が大堂の大修理を行っていた。江戸時代後期の史料によると、境内には大堂（講堂）、院主坊、客殿のほか、鎮守六所権現社、薬師岩屋等があった。また、同じ資料によれば、その周辺には大門坊や妙蔵坊等六坊や末寺の清音寺があったが、ほとんどが当時百姓屋敷となっていたと記されている。
　現在の境内には、平安後期建立の建築として国宝となっている大堂を中心として、その西に宝暦11年（1761）建立の六所権現社、東には正徳5年（1715）建立の本堂・庫裏、創建の時期は不明だが奥ノ院が存在する。六郷満山の寺院は、講堂の背後に六所権現社と奥の院を配するのが通例だが、富貴寺の場合はこれと異なっており、創建当初は六郷満山に組み入れられていなかったことを物語る。
　このうち大堂は、正面3間、側面4間の本瓦葺宝形造である。内部は中央やや後方に四天柱が立ち、その中に須弥壇がある。須弥壇の上には本尊阿弥陀如来坐像を安置する。周囲の壁や四天柱には阿弥陀浄土図等が描かれ、浄土世界が表現されている。大堂の周囲に目を向けると、大堂創建時の古瓦が出土しているほか、鎌倉時代の笠塔婆5基や、国東塔2基等の石造物がある。笠塔婆の種子には阿弥陀仏ないし阿弥陀三尊が多く、浄土信仰に根ざして造立されたものである。また、参道登り口の石段の脇には、南北朝時代の板碑がありこれも先に述べた調氏による大修理に関係するものである。このように、石造物から富貴寺の歴史をたどることができる点でも貴重である。
　以上のように、富貴寺境内は、平安後期建立の大堂を中心とした伽藍であり、六郷満山寺院の構造の一形態として貴重な事例であるとともに、平安時代以降の浄土信仰を考える上でも貴重な遺跡であり、史跡に指定し保護を図るものである。