直接呈皇帝审阅，不必经过尚书
霍家的酒囊饭袋开始时并没有察觉，还以为这是宣帝对霍家的恩宠此时，霍家掌握的权力被宣帝剥夺殆尽，特别是军权逐渐集中在汉宣帝的手中，霍家人终于明白，这个皇帝绝不是个头脑简单的人，而一想到宣帝对于许平君的深情，霍家还将其谋害，几个知情人就感到不寒而栗，惶恐不安之下，霍家最终决定铤而走险，举行叛乱，推翻汉宣帝，保住他们的既得利益他们设计了两次阴谋，一次是谋害丞相，另一次是废黜皇帝而以霍禹代替
这两次企图都得到了以皇太后名义颁布的诏书的支持太后为霍光的外孙女，她的诏书曾被非常有效地利用过，但这一次霍家却不走运阴谋的消息泄露到宣帝的耳中，不仅政变没有达到既定目标，霍氏一门还遭受了灭门之祸参加叛乱的人都被处以极刑，其中霍光子霍禹、霍云，侄子霍山，都被杀或者自杀而阴谋毒害太子的霍成君也被宣帝废掉，令其迁往上林苑的昭台宫
十二年后的五凤四年（公元前54年）再度令其迁往云林馆，霍成君自杀，葬于蓝田县昆吾亭东
废后诏书原文：
皇后荧惑失道，怀不德，挟毒与母博陆宣城侯显谋，欲危太子，无人母之恩，不宜奉宗庙衣服，不可以承天命呜呼伤哉，其退避宫，上玺绶有司
至此，刘询终于为发妻许平君报仇，比起吕太后、卫子夫等人，许平君总算得到了宣帝的真感情，从这点看，许平君是幸运的自此，在西汉朝廷中盘踞了十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治