皇帝在1539年6月第一次免除夏言的职务之前不久，开始批评夏怠慢不恭，指出他原来是从低级职位被举荐提升的，他是随皇帝之意而取得高级地位的。为了表明这一点，夏立即被解职。尽管他很快又受到恩宠，他还是一再因为在执行他的职务中不够灵活而受到批评。
严嵩利用夏言和武定侯郭勋之间的长期敌视而获得他在内阁中的最初的职位。1541年8月，郭勋拒绝接受皇帝的一道诏令。他的傲慢激怒了皇帝，皇帝从这时起便有意缩小他的权力。郭以前曾因非法行为和贪赃而被弹劾，但皇帝总是原谅他。这次他却不这样。10月郭被弹劾并被捕。因为郭在皇帝统治的最初几年里是皇帝极少几个助手之一，他不肯下令把他处死。郭在他1542年11月去世之前一直留在牢里。夏言在病床上指挥了这次弹劾行动。
尽管夏言在30年代参加了各式各样的道教仪式，1540年以后他却开始反对这类作法。1542年7月在他随侍皇帝时，他率直地不肯穿戴道教的冠袍，因为它不是官员的服装。皇帝把夏的态度看作对他的权威的一种冒犯和对他本人不恭的一种表示。严嵩利用皇帝一心树立他本人的权威和尊严而迫使夏言致仕。
严嵩是在夏言的赞助下晋升到礼部尚书的高级职位的，他从1537年至1542年担任这个职务。不过夏对他不以礼相待，尤其认为他没有能力，天赋不高。在这方面他是错了，因为严嵩又机智又狡猾。严穿上皇帝赐给他的道教冠服，并毫不走样地执行他的命令。当他终于被问及关于夏的缺点时，他强调了一点：夏言主管言官。郭勋是在他的指导下被弹劾的；虽然关于夏本人，什么也没有说。他盗用了皇帝的特权。皇帝于1542年8月免除夏的职务时，强调了这一点。在1545年10月之前夏一直没有职务，严嵩在这期间达到了控制内阁的目的。
严嵩在1542年9月成为大学士时，已经60多岁。他知道他完全是靠皇帝的恩宠而任职，起初他非常小心谨慎，在所有事情上满足他，又把一切事情呈请他裁决。同时，他利用他的新职务把他的那些敌人免职。
1543年他首次耍了一次手腕，这使他后来得了一个坏名声。他使皇帝不知不觉地为他报了仇。严早些时候因接受两个想提高俸禄的王的贿赂而被一个御史弹劾。他好不容易才设法避开了责任，开始怨恨这个御史。10月，他告诉皇帝，1543年山东乡试关于边境政策的讽刺性策问实际上是这个御史拟的。皇帝觉得这种行为是令人难以忍受的妄自尊大。他将这个御史逮捕，并下令予以杖责，谪戍边卫。这个御史没有被谪戍；他因异常猛烈的杖责而死。在京官考绩期间，依照严的命令，出现了更多的例行降级事例。
1545年10月，为了抵消严嵩日益增长的权势，皇帝将夏言召回内阁。夏刚回内阁便不理严嵩，不肯和他商议事情，将严任命的人免职，以支持他自己的人接任。夏还攻击像陆炳这样有权势的皇帝的宠信者，陆炳于1539年救过皇帝的命。陆炳被控贪脏，夏只是在陆向他行贿、下跪、乞求宽恕以后，才撤消了控告。严嵩曾经蒙受类似的羞辱，终于和这样的人勾结起来除掉了夏言。
最后的对抗发生于1548年2月，表面上是关于在鄂尔多斯地区讨伐蒙古人的一项建议。夏言曾经支持并指导实施这项建议，而没有和严嵩商议。他对发生的事情单独负有责任。皇帝曾听到关于陕西骚乱的传言；扶乩预告了不祥的结果。他改变主意，收回他对这项建议的支持，不过他无意处死夏言。但是，既然陆炳提出了夏言牵连进掩盖战败的一次密谋并在别的方面保护其下属的证件，严嵩提出了夏言曾经受贿的罪状，皇帝怀疑他是受了欺骗而赞成军事行动的。这些罪行从未得到证实。实际上使皇帝不安的是夏言的傲慢。尽管夏言表面上受到参与密谋的指控，他却是因不服从而被处死的。皇帝再次于不知不觉中处死了严嵩的一个敌人。
严嵩控制下的朝廷
严嵩自1549年直至1562年他去位时为止，控制了内阁。他清楚，他的同僚们没有多大权力；即使在最琐碎的事情上，他也顺从皇帝的心意。例如，1549年3月他把其他大学士的人选问题提交皇帝，说他不敢作出决定。皇帝赏识这种姿态，而严在任何时候，只要有可能就尽力使自己迎合皇帝。
他在整个存在危机的10年当中，靠让别人，要末是尚书们要未是皇帝本人作出决定而设法保住他的位置。当1550年俺答包围北京，要求互市权利时，严把这件事交付专管入贡事务的礼部尚书。在蒙古人撤退以后，他让灾难的责任落在兵部尚书头上，其实兵部尚书是按照他的指示而行事的。
虽然他装出要把行政权力归还给尚书们的样子，他却暗中努力以求掌管政策和人事事务。1550年11月，在蒙古人撤退以后不久，严因保证升任和任命令人艳羡的职位而接受作为报酬的贿赂，因压下奏议，因纵容他的儿子严世蕃（1513—1565年）滥用职权，以及因胁迫朝臣以致无人敢于反驳他而受到弹劾。皇帝最初因这种揭发而不安，但陶仲文暗中为严说情。陶利用皇帝不信任他的官员们的心理，说对严嵩的所有攻击是由朋党性质的嫉妒引发的。皇帝倾向于把他的官员们想得很坏，接受了这种解释。严嵩在整个50年代期间因种种罪状而被弹劾，但他利用这种策略而避开了谴责。他利用皇帝的猜疑和疑心，一再表明对他的攻击要末是朋党性质的嫉妒，要末是想通过皇帝的主要大臣批评皇帝而引发的。
在他担任大学士期间，他从未使自己陷入他那个时代最紧迫的行政问题——财政管理。正如他将其他的困难问题留给礼部和兵部尚书一样，他把财政管理这个难于处理的问题留给户部和工部尚书。