據傳，古時候當地有妖魔作崇，危害百姓，人們苦不堪言，就祈求觀音菩薩降妖除魔，保一方平安。觀音菩薩請來十八羅漢，經過一番斗法，十八羅漢各顯神通，終將眾妖魔擒獲。
觀音菩薩大發慈悲，不忍將其正法，就將眾妖魔化做巨石疊摞成山。又恐其惡念不改，繼續危害百姓，就將十八羅漢化身變做巨石，鎮壓在眾妖魔身上，就形成了現在的羅漢山。
當你走近羅漢山，果見臨路一側有層層疊疊的巨石，如同壘墻一般，大小不一，形態各異。據說這就是被十八羅漢降伏的妖魔，它們靜臥在那里，形成了一大景觀。
在羅漢山的上面，有幾塊巨石，狀如人形，據說這就是十八羅漢的化身，它們在這里鎮懾妖魔，保一方平安。在其中的一尊羅漢身上還刻有“羅漢山”三個摩崖大字，更加證明了羅漢山的不同凡響。
這些都不是奇異之處，最為奇異的是山頂有一塊巨石，據說是女媧補天剩下的一塊石頭，因無處放置，見青巖寺山清水秀，又見這里被鎮在山下的妖魔復活，眼看十八羅漢無計可施之際，女媧娘娘便將這塊補天遺石放置在羅漢山頂。頓時山石巨響，將快要逃脫的妖魔又鎮壓下去。
這塊巨石重約幾十噸，呈上大下小的降落傘狀，只靠下面有巴掌大的三個點支撐，千百萬年來櫛風沐雨穩如泰山。在巨石的東面上部，有“朝陽丹石”四個摩崖石刻。
羅漢山上廣植松柏，郁郁蔥蔥，仿佛已經進入神秘的世界。 羅漢山之美不在于它的名字有多儒雅，有多神秘，而在于它秀氣誘人，傳說驚險。坐在鎮山亭中，可懷亙古之幽情，可嘆人生之艱辛。
每當春風吹度，羅漢山上千樹萬樹的杏花開放，潔白中透著紅潤，紅潤中透著馨香，定會令人忘情地駐足觀賞，久久不忍離去。 每當秋高氣爽，羅漢山上一片淡黃，那黃的通透，那黃的令人垂涎欲滴。你若置身于這赭黃之中，仿佛與佛結緣，與菩薩聯手，令你心曠神怡，煩惱頓消。
有詩曰：
幾歲生成守禪林，天長地久歷光陰。
莫言幽閭扶崖淺，不去武當面壁深。
寰宇竦聽風雷吼，乾坤威懾鬼神驚。
蒼松化作驅魔劍，一掃滄桑日月新。
羅漢山雖然不高，但它以奇、秀著稱；羅漢山雖然不大，但它以傳說聞名。
