话说昭帝元平元年秋七月，霍光废去昌邑王刘贺，迎立宣帝，此时霍光大权独揽，威震朝野，人人畏服。宣帝为人虽然英明，初次即位，也就暗存戒心，一切举动兢兢业业，每与霍光相见，尤加谨慎。当日宣帝受了皇帝玺绶，应行谒见高庙，宣帝乘坐御车，前往行礼，大将军霍光骖乘。宣帝本来惧怕霍光，平日见面，已是望而生畏，如今同坐一车，逼近身旁，愈觉得局促不安，似乎背上生有芒刺一般。读者试想宣帝既为天子，何以如此畏惧霍光？只因霍光秉政既久，威权太重，加以此次任意为立，由不得不使人胆怯。更有一层，霍光见宣帝初立，恐其复学刘贺，也觉放心不下，未敢便使亲政，仍请上官太后留居未央宫，临朝决事。宣帝虽已即位，并无权力，因想起刘贺是一国之王，且有许多近臣为之羽翼，尚被霍光要立便立，要废便废，毫不费力。何况自己乃由庶人出身，势孤力弱，更难与他抵抗。设使言行不慎，被他看出过失，或触忤其意，便要做第二之刘贺，到了其时，岂非追悔无及。宣帝怀了此意，所以对于霍光愈加畏惧。
正当此时，却有侍御史严延年上书，劾奏大将军霍光，擅行废立主上，无人臣之礼，罪该不道。此奏既上，满朝公卿闻知，无不惊骇。也有人替延年担忧，说他触怒霍光，必遭诛罚。
宣帝见奏，既不便得罪霍光，又不肯责罚延年，便将奏章搁起。
延年劾奏，虽不能动得霍光，然朝廷百官因此也都肃然敬惮。
说起严延年乃下邳人，其父曾为丞相属吏。延年少学法律，由郡吏出身，被举为侍御史，为人短小精悍，办事敏捷，但是生性负气。此次劾奏霍光，为人所不敢为，也算具有胆识。然平心而论，霍光错处，在于最初不慎，迎立非人。及见刘贺种种无道，将他废去，可谓善于补过。后人以为延年此奏，能正君臣之义，因此称其敢言，不过专制时代尊君卑臣之思想耳。
宣帝即位未久，丞相杨敞病死。霍光奏请太后拜蔡义为丞相，封阳平侯。又以田广明为御史大夫。蔡义系河内温县人，由明经出身，曾在大将军卫青幕府当差。家中甚贫，出入常是步行，却有卫青门下一班好事之人，怜他穷苦，大众凑出钱文，买了一辆犊车，与他乘坐。后来蔡义时运到来，竟被武帝召见，讲说《诗经》，甚合帝意，拜光禄大夫给事中，命其教授昭帝读书。元凤六年，擢御史大夫。至是代杨敞为相，年已八十余岁，身材短小，又无须眉，形状甚似老妇。加以弯腰曲背，立起时上半身倾向前面，因此脚跟不稳，举步艰难。每遇朝会出入，须有两个吏人，左右扶持，方能行走。众人见他老迈龙钟，心中都觉看轻，便在背后私相议论道：“大将军任命宰相，不选贤才，但用此等年老无用之人，凡事可以由他专制。”有人闻得此言，急来报知霍光。霍光听了诧异，便对侍中左右并自己官属道：“吾因蔡义曾为人主之师，当然可任宰相。不料外间妄加揣测，此等言语，何可使天下人闻知。”众人听了，方才不敢再言。
到了十一月，群臣上议请宣帝择立皇后。先是宣帝未即位以前，已娶许广汉之女为妻。许广汉昌邑人，少年尝为昌邑王郎官。一日随从武帝前往甘泉宫，广汉因起程匆促，误将同行郎官马鞍安在自己马上，后被原主查出，告知有司。有司劾奏广汉从驾偷盗，犯了死罪，武帝下诏处以宫刑。说起广汉不过误取他人一个马鞍，并非出于有意，论理原无大过，谁知竟坐死刑，几乎性命不保，可见汉时法律之严。广汉既遭宫刑，入宫为宦者丞。适值上官桀谋反，预先备下绳索数千条，每条长数尺，装一箱内，缄封甚密，准备起事时缚人之用，藏在殿中庐舍。后来阴谋败露，霍光分遣诸人搜寻证据，知得上官桀藏有绳索，便命许广汉前往搜寻。广汉遍搜不见，只得回报霍光。
霍光不信，又遣他人往寻，其人奉命前往，竟将此索搜出。广汉又因此坐罪，罚作鬼薪。因他本是宦官，遂送入掖庭作工，后被任为暴室啬夫。宣帝时为皇曾孙收养掖庭之中，恰与许广汉同在一处居住，彼此日常相见，异常亲好。
当日掖庭令张贺，即张安世之兄，曾为卫太子家吏。太子兵败，所有宾客皆定死刑，张贺也在其内，幸得张安世为兄上书求恩，得免一死，受了宫刑，送入宫中充当宦官，渐升为掖庭令。张贺见皇曾孙年幼受累，无人顾恤，情形甚属可怜，又念起卫太子旧日待己之恩，因此十分关切，加意抚养并使之从师读书，代出学费。光阴迅速，皇曾孙渐已成人。张贺见他生得仪容俊伟，举止非凡，更兼足下有毛，卧处有光，种种神异，愈觉惊奇。暗想此人将来定然大贵，何不以女嫁之，遂时对其弟安世夸说皇曾孙如何好处，并露许婚之意。此时正在元凤四年，昭帝方行冠礼，安世为右将军，与霍光同心辅政。每听张贺赞美皇曾孙，安世便行阻止，其意以为少主在上，不宜称道曾孙，恐涉嫌疑。又闻张贺欲以己女嫁之，不觉大为拂意，因说道：“曾孙乃卫太子之后，身为庶人，幸得公家供给衣食，已算满足，将女嫁他，有何好处，以后请不必再提此事。”张贺见安世不肯，只得作为罢论。
又过一时，皇曾孙年已十六岁，张贺便想为之娶妻，成立家室，也算报答卫太子一番知遇。但自己既不便将女许配，只得就外间留心撮合。在张贺本意原想觅得富贵人家结亲，将来皇曾孙也可靠他得个出身，建功立业。谁知满朝公卿列侯虽然不少，却无人肯招为女婿。若论皇曾孙名目，岂不赫赫，要结好亲，原非难事，无如人情大抵势利，见皇曾孙正在失势之时，身为庶人，更不将他放在眼里。张贺又是一个宦官，被人轻视，所以做媒也不得力。虽有其弟安世现掌政权，偏又极力反对此事，张贺因此也不敢选择门第，但图得成亲事而已。
一日张贺无意之中，忽闻得许广汉现有一女，尚在择配。
心想许广汉与皇曾孙同居既久，甚是相得，今若向他求亲，定可成就。张贺想罢，心中高兴，便分付左右安排酒席，遣人往请许广汉前来饮酒。不久广汉到来，二人一同入席，饮到酒酣，张贺停杯说道：“皇曾孙在皇室之中，亲属最近，纵使为人庸劣，亦不失为关内侯，何况他才能出众，足下尽可以女许之。”
广汉闻言，慨然许诺，张贺甚是欢喜。
次日许广汉回家，将此事告知其妻，其妻听了大怒道：“女儿是我辛苦养育，汝欲许配与人，应先与我商量，如何轻易答应，此事我万不能承认。”因此夫妇之间大起争论。原来广汉之女，名为平君，年方一十五岁，先已许字内者令复姓欧侯氏之子为妻，择定吉日，将要成亲。欧候氏之子忽然病死，广汉之妻，只有一女，爱同掌珠，正要收拾嫁装，闻说女婿身死，大为扫兴。心想莫非女儿生相不好，以致尚未过门，便克丈夫，如今又须另行结婚，但婚姻大事，关系女儿终身，不可草率。
且请相工看过女儿相貌，再行决定。于是亲带其女，到了一家相馆看相，相工将许女端详良久，拱手作贺道：“此乃大贵之相。”广汉之妻闻说暗自欢喜，谢别相工，带了女儿回家。一路想道：“欧侯氏子想是无福消受我女，所以早死，以后说亲，须要慎重。”不料未过数日，广汉竟当饮酒中间，一口许下亲事，所招女婿，虽号为皇曾孙，却是平民，并无一官半职，所以发怒，执定不肯，立逼广汉要他退亲。广汉自念未曾与妻相商，也有不是，但已面允张贺，一言既出，驷马难追。况张贺现为掖庭令，是个长官，我为暴室啬夫，乃他属员，一经承诺之后，更难翻悔。乃向其妻用好言安慰，说是皇曾孙将来必能贵显，万不至误了女儿。其妻闻言气愤渐平，到底妇人终拗不过丈夫，竟将女许嫁皇曾孙，择日成礼。张贺自出家财为皇曾孙行聘迎娶。从此皇曾孙便依着许广汉及外祖母史家过日，张贺得免责任，不久也就身死。
皇曾孙自娶许女，过了一年，生下一子名奭。又过数月，霍光迎立为帝。宣帝既已即位，拜许氏为婕妤。此时群臣请立皇后，大众心中拟议，以为定是霍光小女。原来霍光正妻，复姓东闾氏，无子，仅生一女，嫁与上官安为妻，即上官太后之母。上官安谋反时，霍氏早死，追尊为敬夫人。霍光又纳婢女名显，生有一子数女，子名霍禹。及东阊氏死，霍光遂以显为继室。先是霍光有所爱家奴二人，一人姓冯名殷字子都，一人姓王名子方，子都尤为得宠。霍光每有要事，常与计议。霍显又与子都通奸。子都与子方借着将军之势，在外横行无忌，满朝文武百官，无不畏其气焰，争来奉承。此次霍显见宣帝即位，未立皇后，因想起小女成君尚未出嫁，便欲谋得后位。乃使二人示意百官，百官安敢不从。遂先奏请立后，以探宣帝之意。
在众人皆料宣帝畏惧霍光，必立其女，且霍光之女又系上官太后之姨，宣帝借此婚姻以联络太后与霍光二人，岂非得计？宣帝也知众人意思，但念起旧日微贱之时，许女曾同甘共苦，如今贵而弃妻，于心终觉不忍，惟是欲立许女为后，又不便自言，须由群臣指名上讲，不露痕迹，方免得罪霍光。然而有何方法能使群臣知得此意，宣帝沉吟半晌，得了一计，即下诏寻求昔日所佩故剑。群臣见诏，便知宣帝念旧情深，一把故剑，尚要寻求，何况妻室，于是遂请立许捷妤为皇后。后人因谓发妻为故剑，即此故事。未知以后如何，且听下回分解。