孔府大门，坐北朝南，迎面是一个粉白的大照壁，左右为八字粉墙，一对2米高的圆雕雌雄石狮，昂然雄立。红边黑漆的大门上镶嵌着狻猊（suānní）铺首，大门正中上方高悬着蓝底金字的“圣府”匾额，为明代严嵩手书。大门两边的明柱，悬挂着一副黑底金字对联：
与国咸休安富尊荣公府第
同天并老文章道德圣人家
这幅对联是清代纪昀所书，“纪大才子”“纪大烟袋”的名声，随着电视剧《铁齿铜牙纪晓岚》一遍又一遍的热播，而被家喻户晓。他写的这幅对联，上联中“安富尊荣”的“富”字，上面少了一点，这叫做“富贵无顶”；下联中“文章道德”的“章”字，下面“早”字的一竖一直通到上面的“立”字，这叫做“文章通天”。这对联，字美文佳，概括出了孔府千百年来不同凡响的“公府第”、“圣人家”的气派。
孔府，位于曲阜城的中心，孔庙的东侧，是孔子后世嫡系长孙居住的地方。
孔府，过去称为“衍圣公府”，习惯上也称“公府”、“老府”、“圣公府”、“圣府”等。民国以后又改称为“大成至圣先师奉祀官府”，简称“至圣府”。中华人民共和国成立以后，通称为“孔府”。历经各朝各代而屹立不倒，成为名符其实的“天下第一家”。
今日孔府的建筑规模，是和历代统治者对孔子的加封，尤其是对孔子后裔的加封优渥分不开的。自汉高祖刘邦封孔子的九世孙孔腾为“奉祀君”起，汉元帝、汉平帝、魏文帝、晋武帝、孝文帝、隋炀帝、唐高祖、唐玄宗、宋仁宗等都对孔子后裔进行了加封。宋仁宗始，改称孔子嫡系长孙为“衍圣公”。自四十六代孙孔宗愿被封为衍圣公起，这个封号一直到清末，始终保持不变，前后持续三十二代，有41人袭封。
孔子死后，孔子的子孙住家布衣传十余世，史称“阙里世家”。其子孙世代守庙看管孔子遗物，二百余年不绝。其后随着孔子子孙官位的升迁，孔氏住宅逐渐往东扩展，北宋期末，孔氏后裔住宅已经扩大至数十间。到金代，孔子后裔住宅一直是在孔庙东边，有“客馆”、“客位”、“斋堂”、“宅厅”、“恩庆堂”、“双桂堂”等建筑。
孔府鸟瞰宋仁宗宝元年间（~年）开始扩建孔府，自孔子的嫡系封为衍圣公后，称为衍圣公府。明洪武十年（年）敕建新宅，明弘治十六年（年）大修衍圣公府。明正德七年（年）至嘉靖元年（年），为保孔庙，曲阜县城开始迁移。经十年时间，新城建成，城墙高耸，外有深深的护城河，孔府孔庙居城中。修城期间，又大修孔府，奠定了孔府的基本规模。清代，又在原有的基础上，对孔府进行了较大规模的重修，从而达到现在的规模。
现在的孔府占地面积亩，其布局分为中、东、西三路，共有厅、堂、楼、房间。整个府第雕梁画栋，飞檐彩绘，奇花异石，凉亭曲桥，是我国封建社会中典型的官衙与内宅合一的贵族庄园。
附注：
关于孔府对联的错字，还流传着一种传说。孔子的第四十二代孙孔光嗣娶亲之日，有某位神仙前来指点，说是影壁上写“富”字，有头不吉。孔家不宜过富，要“去一点”，遂把富字头上的点去掉了。从此之后，孔府凡是写到“富”字，都是无头的了。乾隆年间，纪昀写这幅对联的时候，当然不能破了孔家的规矩，那上联里的“富”字也只好写个错字，没有头。可是，当写到与“富”字相对的下联“章”字的时候，觉得最好也要有所变化，才能对应，于是便搁笔琢磨起来。睡梦中见一老翁在他写的“章”字上，划了一笔。那最后一竖笔的上端，穿过了中间的“日”字，成贯日之状。纪昀醒后挥笔书写，果然酣畅淋漓，气势不凡。于是这副对联就有了“富贵无顶，文章通天”的神圣含义。