霍光主政与霍氏族灭。
元凤四年（前77年）正月丁亥日，十九岁的昭帝在未央宫“加元服”，即举行成人仪式——冠礼。一般而言，年幼的皇帝成人后便可亲政，但昭帝依然将政事“委任”于霍光。
四年后，即元平元年（前74年）四月，年仅二十三岁的昭帝突然病死。昭帝无子，他的猝然离世令霍光和大臣们措手不及。国不可一日无君，然而，立谁为帝令霍光等朝臣十分为难。
武帝六子中，此时只有广陵王刘胥在世，群臣都认为应立刘胥。但霍光不这么看，当初武帝放弃年长的刘胥而选择昭帝，就是因为刘胥品行有亏。他和大臣们商议，立武帝之孙昌邑王刘贺。刘贺这年约十八九岁。
但事实证明，这仍不是一个好的选择。史书谓刘贺“好游猎，驱驰国中，动作亡（无）节”。做了皇帝，并没有让刘贺有所收敛。若仅仅是生活奢靡，也许并没有太大问题，问题是这位新君急于摆脱霍光的控制，建立自己的执政班子。他将昌邑官属全部征至京城，并超迁拜官。这让霍光等朝廷旧臣十分不安。
霍光与几位重臣密谋，以刘贺“荒淫迷惑，失帝王礼谊，乱汉制度”为由，请求皇太后废黜刘贺。昌邑王即位仅二十七天，便被废，他从昌邑带来的二百余臣僚，除少数几人外，悉数被杀。
选立新的皇帝再次被提上日程。由于武帝子孙零落，可供选择的人并不多。这时，流落民间、身为庶人的卫太子孙刘病已进入了霍光的视野。
卫太子因巫蛊事件兵败自杀，妻妾、子女均被杀，当时刘病已刚刚出生几个月，被收系狱中。廷尉监丙吉、掖庭令张贺等人可怜他尚在襁褓，派女囚喂养他，他才历经磨难活了下来。昭帝时承认了他的皇室血统身份。
此时的刘病已年方十八岁。卫太子家族几乎灭绝，刘病已在朝中无人可以倚仗而便于操控，这应当是霍光选择刘病已的一个重要原因。
元平元年（前74年）七月庚申，刘病已被迎入未央宫，当日便举行了登基典礼，是为宣帝。第二年正月，霍光稽首表示要归政皇上。宣帝谦让表示一切仍需委任大将军，结果一切都如昭帝时一样，凡事先向霍光汇报，然后再向宣帝上奏。
宣帝生长于民间，史称他喜游侠，斗鸡走马，游遍三辅地区。丰富的社会阅历，加之天资聪颖，使得他比同龄人成熟、老练得多。他很清楚自己能否坐稳皇位，取决于霍光，昌邑王就是前车之鉴，因此对霍光恭敬有加。史载，宣帝即位拜谒高庙时，霍光随从骖乘，宣帝感觉“若有芒刺在背”。后来车骑将军张安世骖乘，宣帝“从容肆体”，才真正有了做皇帝的感觉。
地节二年（前68年）三月，霍光病逝，宣帝为他举行了隆重的葬礼。
班固赞曰：霍光……受襁褓之托，任汉室之寄，当庙堂，拥幼君，摧燕王，仆上官，因权制敌，以成其忠。处废置之际，临大节而不可夺，遂匡国家，安社稷，拥昭立宣，光为师保，虽周公、阿衡，何以加此！然光不学亡术，暗于大理，阴妻邪谋，立女为后，湛溺盈溢之欲，以增颠覆之祸，死财三年，宗族诛夷，哀哉！
宣帝对霍光的感情十分复杂。一方面，他感激、敬重霍光，是霍光把自己从一个庶民立为一朝天子，并在武帝之后的二十年保住了风雨飘摇的刘姓天下。霍光对汉室的忠心，无可置疑。班固甚至认为霍光匡扶汉社稷的功绩，即使是阿衡、周公也无以复加。宣帝何尝不清楚这一点，所以，他为霍光举办了一个堪比人君的隆重葬礼。但另一方面，他又对霍光心存忌惮和不满。霍光身为人臣，却可以“擅废立主”，专制擅权，任用、放纵霍氏家族，横行天下。这促使宣帝在霍光死后开始削夺霍氏权力。
霍光死后两年，霍氏因谋反罪被灭族。
霍光虽然对汉室忠心耿耿，但是权力欲和控制欲很强，私心也很重。他一方面牢牢控制朝政，另一方面大肆封赏、提拔自己的亲属。儿子霍禹、侄孙霍云做了守卫宫殿的中郎将，霍云的弟弟霍山为奉车都尉，两个女婿分别为东、西宫卫尉，京城兵权都控制在霍氏手中。其他的堂兄弟、女婿、外孙等也都做了内朝官，自由出入宫省，史书称“党亲连体，根据于朝廷”。这些都为霍氏家族的覆灭埋下了隐患。
