上关县政府遗址位于我县漫川关镇前店子村千佛洞，包括地皇殿、竹林寺。千佛洞在前店子村土地岭脚下，座北朝南，“呈”中字形，中轴线自南而北一次为榭歌楼、过殿、阎王殿、牌楼（统称为竹林寺）、千佛洞；牌楼两侧为厢房。除千佛洞外，其余在1984年前后均有改建。千佛洞伸入北端崖石之中，凿岩而成，高于竹林寺约20多米；洞内绘有二龙戏珠、丹凤朝阳、犀牛望月及花卉图案。洞窟四壁均凿有石台，后台高0.8米，宽约2米；其他台高、宽均约0.5米左右；洞深约3.75米，宽近6.5米，高2.6米。在唐代永昌年间（689），由本县僧侣在摩岩红砂石壁上雕凿立体佛像千余尊，故名曰“千佛洞”。洞内主佛高3尺许，小佛高不盈尺。小者居多，形象逼真，栩栩如生，颇为精致。进洞左右两侧是“观音菩萨”和“如来神佛”，里侧正神位是“释迦牟尼等3尊石雕法象”。清代两次被匪盗。洞外有民国二十二年建造的多角牌楼，“文革”时大多佛像面容被毁，现存佛像约210尊。

榭歌楼、牌楼、厢房在1984年前被毁，现保存比较完整的是竹林寺大殿。大殿是殿堂式结构，分前庭后院，砖砌硬山顶，内屋架，马头墙。花脊两端为巨型鱼化龙建饰，中心为花瓶造型，安装避雷针。石质门框，两侧镶嵌鼓石，直径约0.5米，刻有狮子等图案。院中有千年丹桂一棵，每年8月丹桂飘香，令人陶醉。1981年6月被山阳县人民政府公布为县级重点文物保护单位。