霍光身高七尺三寸，皮肤白皙，眉目疏朗，胡须很美，是当时有名的美男子。他为人沉稳，处事谨慎，每次进出宫门和下殿出门，霍光的脚步总会落在相同的位置，宫中郎官、朴射曾暗中留意，竟然不差分毫，霍光就是端庄严谨到如此程度。昭帝即位后，政令都由霍光发布，天下人都在想象霍光是怎样一个贵人，对他寄予了很高的期望。

　　霍光辅政之初，宫中曾出现怪异的情况，群臣整夜都惊慌不已。霍光将掌管符节、玉玺的郎官召来，让郎官把皇帝的玉玺交给自己，郎官拒绝交出。霍光想抢过来，郎官手按宝剑，厉声喝道：“臣的头颅可以给，玉玺不能给！”霍光对郎官肃然起敬。第二天，霍光奏请昭帝，增加郎官二级俸禄，百姓没有不称赞霍光的。

　　霍光当政，必然招来其他也想掌权的人的怨恨，加上霍光平时坚持制度，办事认真，更让一些人感到霍光处处碍手碍脚，使他们不能为所欲为。第一个想与霍光争权的人就是左将军上官桀。他和霍光本来是儿女亲家，霍光的女儿嫁给上官桀的儿子上官安，并生下了一个女孩，与昭帝刘弗陵年纪相仿。上官桀为了巩固自己的地位，通过昭帝的姐姐鄂邑盖长公主，把孙女送入后宫，先封为婕妤，几个月后被立为皇后。上官桀成了皇后的祖父，霍光休假外出，上官桀就在朝中代理霍光处理朝政。上官安也因此当上了骠骑将军，受封为桑乐侯。

　　上官桀父子的地位日益尊贵起来，他们很感激长公主，想找机会报答她。长公主有一个情人名叫丁外人，上官桀父子请求封丁外人为列侯，因为按照旧例，列侯可以娶公主。但丁外人只是一介平民，也没什么功劳，霍光不同意。上官桀父子又请求让丁外人担任光禄大夫，这样可以上朝，有升官发财的机会，霍光又拒绝了。长公主因此怨恨霍光，上官桀父子也觉得很没面子。上官桀的心理开始发生变化，早在武帝朝时，上官桀就位列九卿，官职比霍光高，现在他们父子俩都是将军，又是皇后的祖父、父亲，霍光不过是皇后的外祖父而已。上官桀开始对霍光独揽政事感到不满，想要与霍光争权。

　　上官桀很快找到了同伙，燕王刘旦是刘弗陵的哥哥，他对武帝避长立幼很不满，觉得自己才应该当皇帝。另外御史大夫桑弘羊自认为对国家经济增长做出了突出的贡献，总是夸耀自己的功劳，想给家人谋好处，霍光不同意，也怨恨霍光。于是上官桀父子、桑弘羊、燕王刘旦和长公主联合起来，想要扳倒霍光。他们乘霍光休假出宫的机会，指使人以燕王的名义向昭帝上书诬陷霍光，说霍光经常私自操练军队；部下没有功劳，却得到重用；擅自调动军官，增加将军幕府的校尉；专权、骄横，怀疑他图谋不轨。但昭帝看了上书之后，没有批复。

　　第二天清晨，霍光听说了此事，进宫后就待在挂有古代帝王的画室，不去上朝。昭帝问：“大将军现在何处。”上官桀趁机说：“大将军是因为燕王揭发了自己的罪行，不敢上朝。”昭帝马上传召霍光，霍光进殿后，脱下帽子叩头请罪。昭帝说：“大将军戴上帽子吧，我知道这封上书是假的，将军没有罪。”霍光问：“陛下如何知道的呢？”昭帝答：“将军到广明驿，只是考察郎吏的工作。调校尉到将军幕府，也只是近十日的事情，燕王怎么会知道？而且如果将军想图谋不轨，也不需再增加几个校尉。”当时昭帝只有14岁，内朝尚书和近侍听了昭帝的分析都很震惊。上书的人果然逃跑了，朝廷追捕很紧，上官桀惊恐不已，对昭帝说这是小事不必追究，但昭帝不听。

　　再后来，上官桀等人再有进谗言诬陷霍光的，昭帝就发怒说：“大将军是忠臣，先帝嘱托他辅佐我，敢有毁谤他的就依法治罪。”从此上官桀不敢再说什么，转而策划让长公主设酒宴宴请霍光，准备在酒宴中埋伏士兵杀害霍光，然后废掉昭帝，迎立燕王。阴谋被发觉，霍光将上官桀父子、桑弘羊、丁外人及其家族全部处死。燕王、盖长公主自杀。

　　在扫除政敌后，霍光威震四海，成为朝政实际上的决策者。昭帝举行加冠礼以后，继续委任霍光处理朝政，十三年间，使百姓生活殷实富足，四夷宾服。总体上说，昭帝时期的霍光是忠臣，担得起周公之责，他虽然擅权，身上也有黑点，但没有肆意打压异己，迫害他人，也没有欺压皇权。他推行与民休息的政策，减轻赋税徭役，恢复经济，功不可没。