阿貴廟是西部地區最大的紅教寺廟,是印度僧蓮花生,于清德宗光緒三年所建。阿貴的意思為山洞,因為此處奇洞攀巖,以洞穴為佛殿而得名阿貴廟。由清庭理藩院改名為“宗乘寺”。
阿貴廟為典型藏式風格建筑,藏名為“拉西仁布·嘎定林阿貴”,清廷賜名為“宗乘寺”。蓮花生大師曾在此修行、講法,他的雕像矗立在廟宇之上。民國元年(1912年)蒙藏委員會賜予“滿、蒙、藏、漢”四種文字雕刻的“宗乘寺”匾額。
阿貴廟建有大雄寶殿及左右配殿、馬頭金剛殿等共981間,殿旁有佛塔一座。阿貴廟的大部分殿宇在文革時期被燒毀。現在的大雄寶殿、金剛殿和白塔是后來恢復重建的。大雄寶殿是佛寺中供奉佛祖的大殿,是整座寺廟的核心建筑,也是僧眾朝暮集中修持的地方。大雄寶殿中主供奉釋迦牟尼佛像,還供有蓮花生大師。大雄寶殿的左右為配殿建筑,西側是金剛殿。寺廟旁有轉經筒,來往者可以順時針轉上一圈。
在大殿周圍的懸崖峭壁上有5個奇特的天然巖洞,分別是蓮花生洞、上樂金剛洞、護法神洞、仙女洞、洪羊洞。每座巖洞都流傳著神奇動人的傳說。
蓮花生洞(阿貴洞):蓮花生洞供主神蓮花生塑像,喇嘛們設壇、供奉、誦咒灌頂就在這里舉行。洞門右側有一巨大的鐘乳石柱,堪稱鎮洞之寶。洞門外的一塊巨石上留有一枚腳印,傳說是蓮花生驅魔降妖時留下的。
上樂金剛洞:供奉上樂金剛,是藏傳佛教密宗本尊神,其像為雙尊。上樂金剛有三面臉,每臉三目,十二臂,主臂擁抱明妃金剛亥母,余臂持物,雙足踏人。塑像為上樂金剛與明妃金剛亥母相抱。
仙女洞:里有白救度佛母和綠救度佛母塑像,是藏傳佛教女神,是觀音化身的救苦救難本尊。以上兩尊為藏王松贊干布的兩位夫人,分別是尼泊爾公主和文成公主,白度母是尼泊爾公主,綠度母是文成公主。度母以顏色區分,以白、綠度母最為常見。此外,洞內還供有21個仙女塑像。
護法神洞:洞里主神為護法神,即迦蘭神,是守護寺院神的通稱,共有十八神。
洪羊洞:迦樓羅天神的供養處。迦樓羅天神是八部天龍之一(佛教中的八部眾是八部天龍的別稱,是佛教八類護法天神),是守護佛教的第六天神。一般來說,迦樓羅以人面鳥身、鳥面人身或全鳥身形像出現,華譯為金翅鳥。洪羊洞呈弓形,在洞壁上有兩個1米見方的洞穴,均用石頭鑲邊,傳說里面有焦贊、孟良兩尊塑像。兩人因盜楊繼業尸骨有功,故立塑像供奉。一進洞口幾米處分上下兩層,上進下出,進里面下臺階,據傳臺階下有深洞,由大石板蓋著,可是沒有人考證過究竟有多深。洞里有紅土又稱“玉光土”,信徒們往往取而治病,也是蒙醫常用的藥材之一。
傳說蓮花生曾到過洛陽和五臺山,返回途中,於公元774年(陰歷)九月二十二來到阿貴廟。當時這里沒有廟宇,只有山洞。傳說五個洞中居住著一母所生的5個少女即5個“杭瑞瑪”(仙女)。她們在這5個洞里分別於九月二十五招待了蓮花生及其隨行人員。以后將每年的(陰歷)九月二十五,定為迎接蓮花生祭神日。次年即公元775年的(陰歷)七月初十,蓮花生一行離開了阿貴洞,此時四周民眾集會歡送蓮花生等人,於是又將每年的七月初十定為歡送日。至今阿貴廟每年七月初十,九月二十五的兩次大型廟會就是從那時開始的。相傳蓮花生在此居住9個多月的時間里,把這里的妖魔鬼怪全部用法術鎮壓下去,還親手塑起一座2尺5寸高的蓮花生像。并說:“你們每當見到這尊塑像就如同見到我一樣,一切妖魔不會傷害生靈了,會給當地民眾消除災難”。蓮花生等在接受杭瑞瑪們的歡送時還說:“我們西方有個'烏日斤杭瑞'地區,你們這個阿貴可叫'亞吉拉,杭瑞瑪阿貴'”。“杭瑞瑪阿貴”也從此得名。當時在這山溝里還居住著叫柯寶日·達日克的老倆口,有個兒子叫落本贊達日。蓮花生對他說:“接收你為徒弟,將密教傳授給你并要你傳遞下去”。洛本贊達日接受了這個旨意。但此教必須“真實”言教,學到咒術才能為百姓除害。于是,洛本贊達日歷盡千辛萬苦到印度薩齊巴地方學經,經過幾年的努力,終于受授了法術,學到了密咒,回到阿貴廟后成了第一個傳徒接代的師傅。