孔庙的前身是“吕公堂’'，堂内 祭祀的是辉县令吕光化。位于苏门山阳半山腰处，约建于明代嘉靖年间。崇祯癸末年（1643),辉县人冀应熊(崇祯壬午年举人)将吕公堂扩建，改为“孔庙”。在苏门山上建孔庙，是有其深刻寓意的。《论语·八佾》中记载，孔子的弟子冉求有一天告诉孔子说，季氏准备去泰山祭天。孔子听了，非常担心的说：“求啊！泰山是随便去祭祀的吗？那可只是功德显赫的帝王和诸侯才有资格祭祀的，它可不是一般的去处啊！”这是强调泰山的地位之高。后来孔子成为儒家祖师，封建统治者把他奉为圣人，认为孔子是至高无上，建庙奉祀孔子，也只有泰山才可以相匹配。但如果在辉县祭祀孔子，总不能跑到泰山去修庙吧?因此就瞄上苏门山了。因为苏门山在当时为天下名山，在辉县境内，苏门山就好比是泰山。在苏门山建孔庙，同样也是至高无上的。这是其一。其二，《论语·子罕》中记载，一次，孔子站在河边，喟然长叹：“逝者如地流着。而苏门山前滚滚南流的百泉水，正如同孔子所说的“逝者如斯”。如此契合的意境，想当初冀应熊在此建孔庙时，是不会不将上述因素考虑在内的。于是，苏门山上便有了这座孔庙。 
    孔庙呈四合院形式。占地面积1000平方米，建筑面积300平方米。规模不大，但格局完整。现存建筑有大成殿三间，东，西两庑各三间，“戟门”三间“子在川上”牌坊一座戟门前有一百多级青石台阶，沿着台阶上去，可直达庙内。另外原来还有观河厅三间、仰止厅三间和棂星门一座，因年深日久，风侵雨蚀，现已不复存在。现在的建筑保存较好。 
    该牌坊为四柱三间形式，通寛6.40米，柱高4.5米。石柱上刻有云龙花纹，中间两柱前后抱鼓石上各放一尊石刻狮子，柱子横额之上两侧各放置石刻超天吼一只；明间横额石坊上刻有“子在川上”四字，是取《论语》中“子在川上曰，逝者如斯夫”之句意。两次间的横额上分别刻有“参天”、“两地”的说法来源于《易经》，易经中的阴阳学说认为“参（读san)代表着“天”两（即二）”代表着“地”,将“三天”、“两地”用在这个石牌坊上，是说孔子的大德可与天地相比。