始建于宋宝祐元年(年)的衢州孔氏南宗家庙是全国仅有的两座孔氏家庙之一，由孔子第47世孙孔端友随高宗赵构南渡后所诏建，距今已有多年的历史。庙内供奉着孔府最珍贵的祖传瑰宝——孔子夫妇楷木像。
据史料记载，北宋末年金兵南侵，衍圣公孔端友背负两尊祖宗圣像追随宋高宗辗转江南，后定居衢州。南宋建都临安后，赐孔氏家族在衢州建家立庙，供奉孔子夫妇楷木像。从此衢州成为孔子后裔的第二故乡。
由于南宋和金的长期对峙，使得孔子后裔南北隔离，出现了长达多年南北两宗并存的局面。而衢州地处通衢要冲，为历代兵家必争之地，南宗孔庙也因此屡遭浩劫，导致现在人们大多只知曲阜孔庙，却鲜有人知道衢州也有孔氏家庙。
孔庙主殿大成殿是庙内的最高建筑，殿阁雄伟、气势不凡。门楣上方的“生民未有”匾额为清代雍正皇帝题写，意为：自有生民以来，从来没有像孔子一样至高无上的圣贤，世上只出现了这一位圣人。
大殿正中供奉着至圣先师孔子，孔子生于公元前年，卒于公元前年，是中国历史上伟大的思想家和教育家，被历代皇帝奉为圣明。横梁上悬挂着十余块历代皇帝的御书匾额，其中“万世师表”匾额为清代康熙皇帝题写。
“思鲁阁”是南宗孔氏子孙为表达思念山东曲阜而精心设计建造的。阁内供奉着两件“镇庙之宝”：孔子夫妇楷木像和先圣遗像碑。相传楷木像为孔子得意弟子子贡所刻，孔子遗像系唐代画家吴道子的名作。
孔子夫妇楷木像高60厘米，是孔子得意弟子端木子贡为孔子守墓六年，难以抑制对恩师的思念之情所刻，被公认为世界上最早的孔子像。楷木像于年被曲阜孔庙借去之后一直未归，现在思鲁阁里供奉的为复制品。
《论语》由孔子弟子编写而成，主要记录孔子及其弟子的言行，反映了孔子的思想，是儒家学派的经典著作之一，自古就有“半部《论语》治天下”之说。有趣的是孔庙门票很有创意地捆绑附赠了半部袖珍版的《论语》，值得收藏。