碑最早起源于先秦时代。那时的碑有三种，但都没有文字，一种叫公碑，是立在宫苑中测定日影以确定时间；第二种是庙碑，立在庙院中，栓祭祀用的牲畜，等待屠宰；第三种是丰碑，立在墓穴旁边，上面凿孔作为官椁下葬时牵引用的石柱。等到葬礼结束丰碑就留在原地，后人为了追念死者，往往随手刻写文字，逐渐成为纪念性的石碑。
在陕西秦公一号大墓的发掘过程中，就有发现了这种用于下葬棺椁的丰碑，据考证西汉时已经有人单独竖立这种纪念性的碑墓，到东汉时已形成一种风气，凡是达官显贵子孙，便于墓前立碑刻字而立于庙中，碑的制作也越来越精细和考究，富贵之家不惜以重金求大文豪，大书法家为之撰文书字。因此现存的唐代碑文非常丰富，成为一种珍贵史料和书法艺术遗存。
古代的碑，分长方形和上圆下方两种，前者称之为碑，后者称之为碣，所以合称为碑碣。隋唐时，朝廷规定五品以上官员立碑，并用鳢首龟蚨作为背的装饰，其他人不能用这样的碑碣。明代把龟蚨的头造得很大，突出了它的负重能力，使碑的整体结构更为协调，至于龟趺，本不是龟，古时称为霸下。相传为龙的九子之一，力大无穷，喜欢负重，于是领了这份差事。
全国现存碑很多，难以胜记，为人们所熟知的有陕西省西安碑林，山东省孔庙碑林，这两个地方的碑是古碑荟萃之地。而现存最大的墓碑，是江苏省苏州市城外灵岩山的韩世忠墓碑，高达三丈，碑文多字，是全国之冠，明成祖朱隶继位以后，为了颂扬朱元璋功绩，在南京市城外阳山凿石成碑，高60米。因无法运至朱元璋墓前而在山中沉睡至今，称为阳山碑材。
古代某些帝王还喜欢在自己的碑林前立无字碑，比如武则天，自认为功德无量，题字碑文无可尽数，有的说是他认为功过是非由后人评论，不应自己立字。究竟如何，难以定论。
明13陵前，也多无字碑，据说朱元璋生前曾批评说，皇陵碑记皆儒臣粉饰之文，恐不足为后世子孙戒，于是明代儒臣不敢再转帝陵碑文，结果只好由活着的皇帝来写，但明十三陵中前七陵，直到嘉靖15年（公元年）才正式立碑，而贪酒好色的嘉靖皇帝，也不愿写这么多碑文，后来的几位皇帝见祖宗碑上无字，也只好立空碑。