公元前年，中国伟大的思想家、教育家孔子去世。孔子殁后第二年，鲁哀公尊孔子为“尼父”，命令将孔子故里故宅三间改作庙堂，岁时奉祀，此为孔庙之始，也是本庙。西汉以后，孔子的地位与日俱增。公元前年，汉高祖刘邦亲临曲阜，首开帝王祀孔先河，公元1年追谥孔子为褒成宣尼公。公元年，桓帝下诏修建孔庙，设专人管理，此为曲阜孔庙由家庙向“国庙”演变之始，初步奠定了孔庙在国家政治生活中的地位。
南北朝时期，孔庙发生了一个历史性的转折。北魏太和初年，孝文帝下诏全国各郡县学均祀孔子，从此确立了国家在学校内祀孔的礼制，也为孔庙与学校的合而为一奠定了基础。公元年，孝文帝在现在的山西大同立孔子庙，这是在孔子故里曲阜以外建立的第一个孔庙，此后孔庙逐步遍及华夏大地。北周、梁朝、北齐等都建立过孔庙，北齐太祖高皇帝始诏封孔子为“素王”。
到唐代，各地孔庙有了进一步发展。唐高祖于公元年下诏国学立周公、孔子庙各一所，四时致祭。此后，“庙学合一”成为定制。公元年，唐太宗诏令“天下学皆立周公、孔子庙”。后来又停周公祀，专祀孔子，尊孔子为“先圣”，以颜回为先师。唐玄宗于公元年追祀孔子为“文宣王”，祭祀用宫悬之乐，夫子像披王者之服，面南而坐，享用最高礼遇。孔庙开始被称为“文庙”。五代十国时期，后周太祖郭威于公元年追封孔子为“至圣文宣师”。
宋元时期，对孔子的封谥进一步升级，孔庙也得到大的发展。公元年，宋真宗追谥孔子为“玄圣文宣王”，公元年改封为“至圣文宣王”。北宋末年，金兵入主中原，孔子四十八世衍圣公孔端友及其叔父孔传等携带吴道子所绘孔子像和子贡手摹的孔子夫妇楷木像，随朝廷南渡，避难于浙江衢州，建立了家庙，从此孔氏家族分为南北两宗。到了元代，尊孔如火如荼。公元年至公元年在现在的北京建造专供帝王祭孔的庙宇。
公元年，武宗加封孔子为“大成至圣文宣王”，这一封号在中国的影响最为深远。明朝前期，尊崇孔子有加，祭祀乐舞、祭物升用天子之仪。宪宗时更规定，天下学校孔子庙庭所在，凡遇门者下马。明朝嘉靖八年，也就是公元年，世宗革去孔子王位，下诏改孔子封号为“至圣先师”，借以显现君权。至清代，孔子及儒学思想在政治中居于崇高地位。清世祖以京师国子监为太学，建文庙。
公元年春正月丁未，顺治皇帝尊孔子为“大成至圣文宣先师”。之后，从康熙皇帝到末代宣统皇帝，每任皇帝登基前都要亲临国子监辟雍讲学一次，并在大成殿书匾高悬。乾隆年间，将正殿及庙门屋顶改换黄琉璃瓦，升朱熹、有子列十哲位，成十二哲之数。特别是公元年，孔子之祭由中祀升为大祀，把祭孔规格推到顶峰。
公元年，科举制度在中国寿终正寝，与科举制度相关的孔庙也日渐衰落，成为历史的遗迹。始建于民国十五年也就是年的哈尔滨文庙是迄今为止我国大陆上最晚兴建的一座孔庙。中国历史上孔庙的确切数目尚无一个十分准确的数据，但可以肯定的是，宋元明清时期，尤其是到了明清时期，只要是国家设立的县以上行政区域均设有孔庙。据统计，至清末全国的府、州、县设立的孔庙数量达多处。
孔庙不仅存在于中国，而且传播到世界各地。尤其清中叶以后，中国孔庙跨越国界，在东亚、东南亚以及欧美一些国家和地区都有建立。