孔孟颜曾为什么算一家？

最近看家族谱系的东西，突然发现孔、孟、颜、曾这四个姓的辈分居然完全一样，比如“昭宪庆繁祥”这些字都是通用的。我查了下，原来从明代开始，这四家就共用一套辈分排行，说是为了体现“圣裔”之间的尊崇关系。但我有点搞不明白，孔子、孟子、颜回、曾子虽然都是儒家大牛，可他们各自的后代怎么就成了一家人呢？是历史上有什么联姻或者政治安排吗？我自己试着搜了搜，只找到一些零碎的说法，比如孔子是至圣，颜回是复圣，曾子是宗圣，孟子是亚圣，但没搞懂为啥偏偏这四家“合流”。希望懂家谱或者儒家文化的大神能给我讲讲，这背后到底是基于血缘、师承，还是单纯的朝廷拉拢？最好能说点具体的历史典故或者制度设计，别太学术，用大白话解释清楚就行。