话说霍光的夫人霍显和霍禹、霍山、霍云眼看着家族的权势一天天被削夺，经常聚在一起相对哭泣，自怨自艾。霍山抱怨说：“现在丞相魏相掌握着大权，将父亲当年的政策法令改了很多，将公田的税让利给百姓，倒显得父亲当年的政策错了。有很多儒生出生贫寒，却喜欢口出狂言，他们趁机上书肆意攻击我们霍家。有人说，父亲在世时，主弱臣强，多次出现灾异，言语非常恶毒，我压住这些奏章没有上报。以后上书的更加狡猾，干脆直接密封上书给朝廷，不再通过我，这是对我不信任。”霍显问：“丞相总说我们霍家的不是，他自己就没有一点问题吗？”霍山说：“丞相廉洁、正直，真没问题。也怪我们家的子弟、女婿也太不争气，做事不考虑后果。但民间竟然散布是我们霍家人当年害死许皇后的谣言，真有此事吗？”霍显一听此话慌了，将实情告诉了霍山、霍禹、霍云，三人一听都吓坏了，他们第一次意识到宣帝为什么要削弱霍家的势力，而这可是要杀头灭族的大罪，于是一家人开始商讨对策，终日惶惶不安。

　　霍云的舅舅李竟有一位好朋友叫张赫，就出了个主意说，可以让人转告上官太后，让她想办法先杀掉掌权的魏相和许广汉，再废黜天子。有个叫张章的告发了此事，执金吾要逮捕张赫，宣帝却下诏停止抓人。霍山等更加惶恐，一家人又一起商量，认为既然阴谋已经暴露，不如先下手为强。正好李竟私下与诸侯王勾结，被捕入狱，供词中涉及霍氏，宣帝于是下诏，霍山，霍云不宜在宫中宿卫，免去他们的职务。霍山、霍禹等更加惶恐不安，家里又出了很多怪事，经常做恶梦，一家人都很忧愁，便加紧策划，准备设宴召来魏相和许广汉，让范明友、邓广汉假传太后圣旨，将他们斩首，然后废黜天子，立霍禹为皇帝。

　　计划还没有实施，霍云被调往玄菟郡任太守，太中大夫任宣被调往代郡任太守。随后，霍家谋反的密谋败露，霍禹被腰斩，霍云、霍山、范明友自杀，霍显和霍家的女眷、昆弟被斩首示众。只有皇后霍成君活下来，但也被废黜，迁到昭台宫，12年后自杀。长安城中有数千家人被牵连族灭。霍家族灭以后，霍光依旧陪葬茂陵。事后，宣帝封告发和平叛有功的张章为博成侯，董忠为高昌侯，杨恽为平通侯，金安上为都成侯，史高为乐陵侯。

　　当初霍氏兴盛时，茂陵县有一位叫徐福的儒生说：“霍氏必然败亡！人骄奢则不逊，不逊则必然侮上，侮上者，其结果一定会谋逆。霍氏的权势又在众人之上，权势太大，必会招来众人的妒忌、怨恨，想陷害他们。霍氏把持朝政时间很久，想陷害他们的人一定很多，而霍氏又在大逆不道的道路上不知回头，他们不亡就奇怪了。”徐福向宣帝上书说：“霍氏的权势太盛，陛下既然要爱护、重用他们，就应该适当加以限制，不要等他们犯罪了再处理。”徐福上书了三次，宣帝没有重视，只说已经知道。

　　再后来，霍氏因谋反罪整个家族被杀，揭发霍氏谋反的都得到了封赏。有人就上书说：“我听说一个寓言，有一个客人经过主人家，看到主人家的烟囱是直的，旁边堆着烧饭的薪柴。客人提醒主人，应该把烟囱改成弯的，把薪柴搬离烟囱，否则会有火灾的危险。主人听了，不置可否。不久，主人家烟囱冒出火星，点燃旁边的薪柴失火，幸亏邻居前来救火，没有造成大的损失。主人杀牛置酒答谢邻居的帮助，救火烧伤的安排在上座，其余按出力大小依次就座，偏偏忘了曾经提醒主人修改烟囱的客人。有人对主人讲，如果当初听了客人的建议，就不会发生火灾，也不用再耗费牛酒宴请救火的邻居，如今提建议的客人没有成为座上宾，焦头烂额的救火者反而坐在上座。”主人听了幡然醒悟，请来当初提建议的客人。如今陛下也是如此，当初茂陵县的徐福几次上书，提醒陛下霍氏权势太大，会有与朝廷对抗的危险，应及早采取措施。如果陛下能采纳徐福的建议，国家现在就不用耗费巨资裂土分封后来的揭发者，朝中也不会有大臣因谋反身败名裂。事情已经过去，当初谏言的徐福也是没有受到封赏，愿陛下想想事情的起因，重视谏言者，让他们坐在焦头烂额的救火者的上座。”这就是成语曲突徙薪的典故，告诉人们未雨绸缪，防患于未然的重要性。宣帝看了上书，召来徐福，赐给他娟帛十匹，再以后，任命徐福为郎官。

　　甘露三年，汉宣帝因匈奴归降，回忆往昔辅佐有功之臣，令人画十一名功臣图像于麒麟阁以示纪念和表彰，霍光列为第一功臣。因霍光死后家族谋反，满门抄斩，故不写出霍光全名，只尊称为“大司马、大将军、博陆侯，姓霍氏。”此后霍光一直为汉朝皇帝所尊奉祭祀，汉成帝年间，增加守墓人100户。汉平帝元始二年，以千户封霍光堂弟的曾孙霍阳为博陆侯，奉祀霍光。

　　霍光辅佐汉室建立了很大的功绩，但他死后仅仅三年即遭灭族之祸。班固认为之所以如此，是因为霍光不学无术，不懂得大道理，隐瞒妻子的邪谋，还要立女儿为皇后，沉湎于权欲，不懂得水满则溢的道理，为家族的败亡埋下了祸根。另一方面，宣帝的欲擒故纵也是让霍氏一步步走向灭亡的根本原因，如果宣帝采纳徐福的谏言，早些对霍氏加以限制，也许他们也走不到灭族这一步。权力的游戏只有悲剧，霍光或许一心为国，小心谨慎，但是掌握国家权力长达二十年，却不能功成身退，和帝王的专制发生了激烈的冲突。历史上相同的故事实在太多太多，却很少有能够解开这个结的，最终大多是以悲剧收场。