1560年，严嵩已有80岁。他的心力和身体都已衰弱，不能再像他从前那样勤恳地侍奉皇帝。一些年来皇帝的多数敕令事实上是由他的儿子严世蕃草拟的，当他入值时，严世蕃陪伴着他。在严的妻子于1561年去世之后，他的儿子必须在家里伺候他，这是严能够让他的儿子避免离开北京去照料他母亲葬礼的唯一办法。这时戴孝的他的儿子不能再和他一道到皇城的西苑去侍奉皇帝。严这时甚至不能看懂皇帝的手诏；他为了回奏，必须把皇帝的诏令带回家中给他的儿子。他的儿子常常喝醉或者干些其他放荡的事，因而什么东西也不能及时准备。当皇帝派太监去催要答复时，严不得不自己起草点什么，而他草拟的东西却被发现原来是不合格的。继续干这种工作，他的确是太老了；他毕竟不是道教的神仙，而是一个有病的老人。他容易受到责难，很快就倒了楣。

严嵩在内阁的副手大学士徐阶，最初是夏言在朝廷上推荐的，夏言于1548年被严嵩处死。徐阶和严嵩从来不和，在他于1552年成为大学士之后，他努力削弱严在皇帝面前的有利地位，反对他的政策，提出相反的建议，暗中指挥对严和他的代理人的弹劾活动。严怀疑徐以某种方式背地支持弹劾他的各种企图，但他什么也不能证实。他有几次试图使徐被免职，但每次都失败了。徐继续在政策问题上向皇帝提出建议，他终于被允许筹办不死药和草药，这项工作以前是只交给严嵩的。

皇帝从未完全信任严嵩。他有时会干脆不理或拒绝严的建议，以便行使他裁决事情的绝对权力。当严不能再侍奉他时，他开始寻找一个代替的人。徐阶等待这个机会已有八年。他知道皇帝觉得严嵩已不再有用，知道他瞧不上严的儿子。无论什么时候，只要有可能他就加深皇帝的不满。1562年，他亲自照管1561年12月焚毁的皇帝寝宫的重建工程。严嵩反对重建这座宫，另外建议皇帝移居到上世纪50年代被废黜的英宗皇帝实际上被当作囚徒时住过的另一座宫里去。皇帝拒绝考虑这个建议。他的宫只不过四个月便复原，1562年6月，在他重新定居以后不到两月时，严嵩便被免职。

在皇帝的知己和顾问陶仲文得病而于1559年从朝廷告退以后，他只好重新挑选一个道教名家来指导扶乩仪式。他的新的扶乩者最初只是焚化交给他的密封的问题，而皇帝很少能够得到一个满意的答复。这种情况不能继续下去。扶乩者和送交包封的太监开始在焚化包封之前阅读所提的问题。他们因而能够按照皇帝的意愿而占卜答案。

徐阶和这个扶乩者联合，开始攻击严嵩。在严被免职之前不久，他是一连串扶乩所得答复中的话题。当皇帝按惯例询问帝国为什么没有治理好时，他被告知，那是因为好人没被任用而不孝顺的人没有退职。问及谁孝顺和忠诚，谁不孝顺不忠诚时，他被告知，徐阶忠诚而严嵩不忠诚。当这个答复随后在别的占卜中得到证实时，皇帝变得非常不安。有关这件事的消息被一个太监非正式地传给了一个御史，这个御史立即弹劾了严嵩的儿子。当严试图代他的儿子说情时，皇帝指责了他。很明显，他已经不再受宠，他于1562年6月被迫去职。

皇帝这时信任徐阶。1560年，当陶仲文和陆炳在几星期之内相继去世时，皇帝失去了仅有的亲密伙伴。他把陶当作同等的人对待，把陆炳（陆在1539年救过他的命）当作兄弟对待。严嵩走了。只有徐阶仍然受宠。徐小心谨慎，不立即攻击严嵩和他的党羽；他反而显得很和解。当1562年晚期接到弹劾胡宗宪的奏疏时，皇帝说胡不是严党中人，而徐也没有催逼这个问题。

他不能冒险批评皇帝。过去每一次贬黜严嵩的尝试都因为上奏的人不能把他们的批评限制在严嵩身上而失败了；他们常常也攻击了皇帝的某些政策和决定。立太子的事已经搁置了10多年，而皇帝不想讨论这件事。可是上奏的人认为不得不联系严嵩的罪恶而提出这个问题。皇帝有可能终于对上奏者非常生气，以致他可能忽略他的奏疏的主旨，反而惩罚他。徐阶记住了这一点。

1562年，严世蕃在他父亲去职时，被谪戍瘴疠之地。他不前往他的戍地，反而回到他在江西的祖居，他在那里开始招募一支大的卫队。1564年9月，在皇帝生日的时候，严嵩进呈一篇如何召鹤（道教神仙的使者）的文字，同时请求允许他的儿子从戍地回来照顾他。这个请求被拒绝了。1564年12月，一个御史上奏说，严世蕃实际上住在江西，并且招募了4000多人。严世蕃和他的同伙被控谋反，被捕，并被带到北京受审。

对严世蕃的最初的控告书，其中也指控他和几个官员的死有牵连，这几个官员是按照皇帝的命令被处决的。当有人把控告书的草稿给徐阶看时，徐把有关谋反罪行的材料之外的一切事情都删去了。皇帝立即批准了判决。他长期以来就瞧不上严嵩的儿子。1565年4月，严世蕃被处死，他的父亲被贬为平民，严家的财产被没收。严嵩，一个在朝廷上无人可求的无家可归的人，死于这一年的晚些时候。