孔氏号称“天下第一世家”，但全国真正的孔氏家庙，以前公认的却只有山东曲阜孔林，衢州孔氏家庙两处。直到近年，榉溪孔氏家庙才被发现。因为发现得晚，榉溪孔氏家庙一直鲜有人知。
榉溪村不仅有全国仅三家的孔庙，还是江南最大的孔子后裔聚居地。现在全村有户，计人，全部姓孔。
这里保存有大片完整的古民居，是研究江南古村落和孔氏家族的绝佳样本。但如今这些民宅绝大部分都无人住，很多村民在村外修建了别墅。
这里的民宅非常特别，都是由石头堆砌而成。据说当时是为了防止山贼而修建。
榉溪村建于南宋初年。当时一位在朝中做官的孔子后裔，因对朝廷极度失望，萌生退意。便寻至山清水秀的榉溪，在此结庐隐居。至此，孔氏家族不断繁衍扩大。每年清明节，这里都要举行盛大的孔子祭典活动。
整个村庄呈船形，村庄东西长米，南北宽不到米。现有保存较好的民居建筑主要为木构和砖石混合式。
现存的历史建筑大都是清、民国建筑，主要反映了清朝和民国时期浙中地区的风貌。