宣帝即位后，没有依照群臣提议立霍光之女霍成君为皇后，而是委婉地以寻故剑的名义，表示要立自己的原配妻子许平君为皇后。霍光没有反对，但以许皇后父亲许广汉受过宫刑的缘故，反对宣帝依照惯例封许广汉为列侯。

　　霍光共有两个妻子，原配东闾氏生下一女后早逝，继室霍显原为东闾氏的婢女，因生子霍禹被扶正。霍显为人贪妒成性，为使小女霍成君当皇后，买通产科医生淳于衍毒死了许皇后。许皇后突然驾崩，官吏逮捕了诊病的医生，淳于衍被下狱受审。霍显担心事情败露，才将实情告诉霍光。霍光大惊，想自首揭发妻子，又念夫妻情深，不忍心，最后还是当了帮凶，批示对淳于衍不再追究。

　　霍光前后执政二十年，地节二年春天，霍光病重，宣帝亲自到家中探视，为他涕泪交流。霍光上书谢恩，并请求将自己的封邑分出三千户，封给霍山为列侯，以奉祀兄长霍去病的祠庙。宣帝将此事下发有司办理，当天又拜霍禹为右将军。

　　霍光去世，宣帝与上官太后亲自到家中吊唁，太中大夫任宣与五个侍御史持符节主持丧事，中二千石官员在墓地设立办理丧事的幕府。宣帝将霍光与汉初的开国功臣萧何相比，以皇帝级别的礼仪下葬，让他陪葬于茂陵。在霍光的葬礼上，有玉衣，梓宫、便房，黄肠题凑等葬具，以缊辌车、黄屋送葬，调发材官、轻车、北军五校的军士列阵护送。宣帝又征调三河服役的士卒掘墓修坟，在墓地修建祠堂，由300户人家看守，霍光的谥号为宣成侯。

　　丧葬完毕，宣帝封霍山为乐平侯，并下诏免除霍光后代徭役、赋税，继承的食邑也世代免除徭役赋税。第二年夏天，宣帝封老丈人许广汉为平恩侯，封霍云为冠阳侯。霍禹继承博陆侯的爵位，霍氏一门尊贵，奢侈无度。霍显将霍光生前自己安排的坟墓规格扩大，把平民出生的婢妾幽禁在墓园守护；大肆扩建楼堂馆所，仿照皇家制度制造乘輿辇车，让侍奉的奴婢用五彩丝带拉着在宅邸里游玩；霍显还与霍光生前信任的管家冯子都通奸，与几个女儿毫无制度约束地出入长信宫。霍禹、霍山同样大肆修建宅邸，在平乐馆赛马追逐。霍云上朝时，请病假外出，带领宾客在黄山苑囿张网捕猎，让苍头代替上朝，无人敢指责霍氏家族的不是。

　　霍光死后，宣帝开始亲理朝政，魏相担任御史大夫。霍府、魏府的家奴争道，霍氏家奴闯入魏相的府邸，扬言要踏平大门，魏相不得不叩头谢罪，霍氏家奴才罢休。此后不久，魏相升任丞相，宣帝经常与魏相谈论政事，许广汉和侍中金安上等也经常入宫。霍山仍然兼尚书职事，宣帝下诏，官吏百姓的奏书可以密封直接上奏朝廷，不再通过尚书递交，朝中群臣可以单独觐见皇上，霍氏才感觉到危机，内心渐生不满。

　　这时，淳于衍害死许皇后的事情泄露，宣帝听到传闻，暂时没有追究，只是将霍光的女婿范明友改任光禄勋，任胜调任安定郡太守。几个月后，宣帝又将霍光的姐夫张朔调任蜀郡太守，孙子辈的女婿王汉调任威武郡太守，将霍氏家族成员调出京城，远离权力中心。不久，宣帝又将霍光的大女婿邓广汉改任少府。任命霍禹为大司马，享有戴小冠的待遇，但没有印绶，同时撤销了霍禹右将军职务，明升暗降，其实一步步削弱了霍禹及霍氏一党范明友、任胜、邓广汉、赵平等人的兵权，以自己亲信的外家许氏、史氏子弟代替。

　　霍禹称病在家休息，霍禹的老部下任宣前来探望，霍禹愤怒地说：“我怎么会生病，皇上如果不是我父亲扶持，能有今天吗？现在我父亲的坟土还没干，他就疏远了我们家，偏袒许家和史家，我已经无法屏住呼吸了。”任宣见霍禹怨气这么大，劝他说，霍光的时代已经过去了，霍光在世时握有生杀大权，但时代不同了，现在是许家、史家掌权的时代，他们是皇帝的至亲骨肉，现在他们显贵，也是很容易理解，没必要为此心生怨恨。霍光听了默不作声，几天后又起来正常工作，因为他很清楚，任宣说得对，霍光在世的时候权力很大，甚至可以废黜皇帝，但这种事永远不会再发生了。

　　此时的霍禹和霍氏一族并没有反叛的心思，虽然失去往日的风光无限让他们有些失落，但能依然享受高官厚禄也并非不可接受，然而一个意想不到的消息让霍家所有人都一头雾水，从而走上了不归路。那是什么消息呢？且听下回分解。