孔庙就是祭祀孔子的场所。据《史记》载，汉高祖十二年（公元前年），汉高祖刘邦过鲁，以太牢（猪、牛、羊）祀孔，开帝王祭孔之先。唐代开元初，皇帝下诏“各州、县皆立孔庙”。在此之后，孔庙遍布中国大江南北。到清末，全国已有孔庙多座。
至圣先师孔庙可分为三类，第一类是朝廷建立的，京城设在国子监（太学）内，地方上则设在州学、（郡）县学中，是官方祀孔的地方。第二类是民间建立的孔庙，遍布各地，甚至受中华文化影响的日本、韩国、东南亚也建有孔庙。上述两类孔庙，俗称文庙。第三类就是孔子世家的家庙（或称“宗庙”），是孔子后裔奉祀孔子等列祖列宗的地方。在所有孔庙里，家庙只有两座，一座在山东曲阜，一座在浙江衢州，人们称之为孔氏北宗和孔氏南宗。
孔庙衢州与孔子结下深缘，缘于北宋末年皇室避金兵南渡。建炎二年（年），孔子第四十八世嫡长孙、衍圣公孔端友率部分孔子后裔，奉孔子及亓官夫人楷木像、唐代吴道子所绘先圣遗像等传家珍宝，随宋高宗驻跸于扬州。建炎三年（年），金兵大举南下，大军渡过黄河、淮河，直逼扬州。宋高宗无奈仓皇南渡至临安（今杭州），孔端友一行毅然扈从随行，赐居衢州，复设家庙，祭祀孔子。衢州由此成为孔氏后裔的第二故乡，孔氏大宗一脉及其部分族属在此世居，史称“东南阙里、南孔圣地”，自此，家庙也就有了南北之分。
从南迁起，衢州孔庙因具有世袭爵位，为孔庙正宗。留在山东的其他孔子后裔，则继续主持曲阜孔庙事务，先后有多人被伪齐、金等政权立为“衍圣公”，是为孔府北宗。两孔共存，都号为正统。
衢州孔庙大成殿到元朝初年，元世祖忽必烈要求孔氏北归曲阜。孔子第五十三世嫡长孙孔洙不愿离开衢州，让位给曲阜的族弟孔治，被忽必烈赞为“宁违荣而不违亲,真圣人之后也”，留下“孔洙让爵”的美谈。孔治袭封衍圣公后，复归曲阜，结束了两孔共存的尴尬局面。南孔虽自此失去了衍圣公爵位，但依旧奉祀家庙不断。不过因失去爵位,南孔沦为平民，社会地位日衰,南宗孔庙“岁久风雨震凌，不无朽弊”，日渐衰败。
明正德元年，明武宗封南宗孔子五十九世嫡长孙孔彦绳为翰林院五经博士，正八品，级别低于北宗衍圣公，不过可子孙世袭，并减其祭田之税。至此，中断年的衢州孔氏南宗重获袭封,其祀孔传承也获得了官方和社会认可。
孔子与亓官夫人楷muxiang民国期间，民国政府废除一切前清爵位，改令孔子嫡系裔孙任“大成至圣先师奉祀官”。任命北孔末代衍圣公孔德成为“大成至圣先师奉祀官”，任命南孔的孔祥楷（孔子第七十五世嫡长孙）为“大成至圣先师南宗奉祀官”。年，孔德成随蒋氏迁居台湾，其于年去世后，孔祥楷成为两岸三地(曲阜、衢州、台湾)孔庙最后的“奉祀官”。孔祥楷现居南孔衢州，为南孔家庙管委会主任。年12月28日，孔祥楷入选第五批国家级非物质文化遗产代表性项目传承人推荐名单。