鳌拜出身瓜尔佳氏，苏克萨哈出身那拉氏，索尼出身赫舍里氏，遏必隆出身钮祜禄氏。他们是除了宗室以及蒙古人之外，在清朝最有权势的家族。
即使因为康熙亲政，导致四大辅臣除了索尼之外统统没有好下场，但是这不意味着他们身后的家族都没落了。
那拉氏是不说了，后来的雍正帝的皇后就是出身那拉氏，而她的阿玛费扬古也是一员大将。瓜尔佳氏更不要提，康熙在给他的太子选福晋时，就是选的他家的，而且太子妃与鳌拜还有血缘关系，就是同族。至于钮祜禄氏，这一大族一直活跃在清朝，直到清朝灭亡。
由此可见，这四大家族基本上一直把持着清朝上层，就连图海这个位极人臣的人，在一些人眼里也不值一提，而图海到了这个年纪，他的目的已经不是那些年轻人追求权力的样子了，而是开始求稳，想要让家族一直延续下去。