《史记》中的“世家”记载的是诸侯之事，即“王侯开国，子孙世袭”，其爵位封邑世代相传，故名《世家》。《史记》“世家”的前面诸篇到上文的“田敬仲完世家”，记载的是春秋战国及西周建国之初分封的诸侯，后面的部分则是汉朝皇帝分封的侯王。而中间有几篇体例略有不同，如这篇“孔子世家”。
《史记正义》解释说，“孔子无侯伯之位，而称世家者，太史公以孔子布衣传十余世，学者宗之，自天子王侯，中国言六艺者宗于夫子，可谓至圣，故为世家。”孔子在中国的地位，尤其是汉武帝以后多年的封建社会中都是至高无上的。即使到了蒙元、满清也册封孔子后人，直至民国。
孔子后人至今已有八十代，遍及中外，殆数百万。其受人景仰的程度远胜于历代诸侯，列于“世家”当之无愧。另山东曲阜之外，浙江衢州有南孔一支，南宋时，孔子嫡系后人袭封衍圣公孔端友率族人随宋高宗南下，赐家于衢，宋亡后，元帝让孔氏后裔回山东曲阜，衢州孔氏族长孔洙以其先人坟墓在衢为由拒绝，并让爵位于山东孔氏，衢州一族从此定居，衢州孔庙世称孔氏南宗家庙。
南宗孔庙孔子出生在鲁国昌平乡的陬邑。他的祖先是宋人，宋人是殷人之后，孔子经常提起此事。《孔子家语》记载：“孔子，宋微子之后。宋襄公生弗父何，以让弟厉公。弗父何生宋父周，周生世子胜，胜生正考父，考父生孔父嘉，五世亲尽，别为公族，姓孔氏。孔父生子木金父，金父生睪夷。睪夷生防叔，畏华氏之逼而奔鲁，故孔氏为鲁人也。”
孔子六世祖孔父嘉在宋国内乱中为华督所杀，故其后人防叔“畏华氏之逼”，迁居鲁国。孔防叔生子伯夏，伯夏生叔梁纥。叔梁纥年老时娶颜姓少女生孔子，因祷于尼丘而得孔子，故孔子姓孔氏，名丘，字仲尼。孔子生于鲁襄公二十二年，《史记索隐》引《公羊传》说“襄公二十一年十有一月庚子，孔子生”，又补充说“今以为二十二年，盖以周正十一月属明年，故误也。”
中国三代之时岁首之月不同，夏人建寅，即以正月为岁首；殷人建丑，以十二月为岁首；周人建子，以十一月为岁首。孔子生于十一月，在周代已经是第二年的正月，所以后人记载孔子年龄有所不同。《史记索隐》在孔子去世的部分议论说：“若孔子以鲁襄二十一年生，至哀十六年为七十三；若襄二十二年生，则孔子年七十二。经传生年不定，致使孔子寿数不明。”
另外，秦人建亥，以十月为岁首（十月是正月），汉代以后用夏历，至民国改为公元纪年。按公元纪年，孔子生于公元前，去世于公元前年。孔子出生不久，他的父亲叔梁纥就去世了，《家语》说孔子三岁丧父。叔梁纥葬于防山，后来孔子的母亲去世后与其合葬。孔子小时候参与游戏时，常常摆起各种礼器祭器，学做祭祀的礼仪动作。
孔子十七岁那年，鲁国大夫孟釐子病危，临终前告诫儿子孟懿子说，孔丘是圣人的后代，他的祖先灭于宋（即孔父嘉在宋被杀之事）。他的先祖弗父何本来应继位做宋国国君，却让位于他的弟弟宋厉公。到弗父何的曾孙正考父时，历佐宋戴公、宋武公、宋宣公三朝，三次受命一次比一次恭敬。
圣人的后代，虽不一定做国君执政，但必定会有才德显达的人出现。如今孔子年少而好礼，他不就是才德显达的人吗？孟釐子又对儿子说，如果我死了，你一定要以孔丘为师。等到孟釐子死后，他的两个儿子孟懿子和南宫敬叔便前往孔子处学礼。
孔子家境贫穷，社会地位低下。成人以后，曾给季氏做过管理仓库的小吏，出纳钱粮算得公平准确；也曾担任过管理牧场的小吏，牲畜蕃息。因此他又升任主管营建工程的司空。孔子曾周游列国，在齐国受排斥，在宋、卫遭驱逐，又在陈、蔡之间受困，最后终返回鲁国。孔子身高九尺六寸，人们都称他为“长人”。