公元前年，儒家的创始人孔子去世。孔子去世后的第二年，国家将其所居之堂屋“立为庙岁时奉祀当时仅有“庙屋三间内藏孔子生前所用的衣冠、车服、礼器。其后裔在简陋的故宅中奉祀孔子，依庙建宅。孔子的嫡系长支为奉祀孔子，这算是孔府最早的起源了。当时用于祭奠孔子的地方并不是很庞大，远远没有后来的壮观，而且在秦始皇焚书坑儒时，还受到了严重的损失。不过西汉时，状况发生了改变。
汉武帝采纳董仲舒的“罢黜百家，独尊儒术”之后，儒家的地位空前提高，开始成为国家的统治思想。之后历朝历代都奉儒家思想为统治思想，作为儒家的创始人，孔子的地位也越来越高了。孔子在世时就被尊奉为“天纵之圣”“天之木铎”，更被后世统治者尊为孔圣人、至圣、至圣先师、大成至圣文宣王先师、万世师表。随着孔子地位越来越高，用于祭奠孔子的地方规格也在不断提高。
曹魏时期，又于之前的庙外“广为屋宇，以居学者”，设教讲学。北宋宋仁宗时期，开始扩建孔府，封衍圣公后，另建新第，称衍圣公府。北宋末期，孔氏后裔住宅已扩大到数十间。金朝时期，孔子后裔住宅在庙东已有“客馆”、“客位”、“斋堂”、“宅厅”、“恩庆堂”、“双桂堂”等建筑。从这可以看出规模越来越大了。而且孔子的后人有了衍圣公的爵位，这个爵位一直继承到民国。既然有爵位，国家要给衍圣公俸禄的，而且经常有其他的封赏。而孔子的后人利用这些赏赐和俸禄不断的购买其他东西，比如宅院来空大孔府，土地来收租。
明朝建立后，朱元璋诏令衍圣公设置官司署，特命在阙里故宅以东重建府第。当然，这仅仅是个开始，明朝之后的皇帝对孔府的修建可以说是越来越上心。明孝宗敕旨大修阙里孔庙和衍圣公府，由内阁大学士、太子太保李东阳监工，孔府遂又改建。嘉靖在位时，为保护孔府，经十年时间建成曲阜新城，城墙高耸，外有很深的护城河，孔府、孔庙居于曲阜城中，奠定了现孔府的规模。
随着孔府的规模不断增加，孔府的经济实力也越来越强，清朝建立后，对孔府的赏赐更是越来越多。乾隆皇帝更是把自己的女儿嫁给了孔子后代，据说前面的嫁妆已经到了山东，后面的嫁妆才刚出京城，可见，乾隆赏赐给孔府的钱财非常多。光绪时期，孔府发生大火，之后国家出现重新修复，在原有基础上进行了一次较大规模的重建，耗银八万余两。当然，这些只是说孔府的规模，规模大在一定的程度上也代表钱财多。我们再看一下其他方面。
封建社会时期，有钱人最常做的事情就是买地，成为地主。孔府的主人也是一直这样做的。孔府的主人可以说一直热衷于购买土地。清朝初期，皇太极的大儿子豪格土地非常多。各地的庄园田地大约在90万亩左右，肃王府这90万亩几乎占了全国土地的八百五十分之一。而孔府的土地比豪格多得多。
孔府的土地分为两种，第一种是祭田，就是祭祀用的田地。这种土地是皇帝赏赐的多，主要用于维持孔府的正常生活。要知道孔府存在了两千多年，皇帝赏赐的土地是越来越多，超出我们想象。第二种就是私田，这种是孔府的人自己购买的。我们前面说过，孔府的人热衷于购买土地，土地的数量也是非常庞大的。经过两千多年的赏赐和购买，孔府的土地到了清朝末年达到了多万亩。这个土地的数量超过任何一家，比皇帝的土地还要多。而且这些土地很多都是免税的，可见孔府靠着这些土地积累了无数的财富。
这也难怪，为何孔府的人都想成为继承人，光是钱财这一项就让所有人项目。至于社会地位和其他好处，更是多得多。真不知道，孔子看到自己的后代这么有钱会怎么想。