崂山下清宫里，有一株两丈高的耐冬树，树干粗壮得几个人合抱才能围过来；还有一株牡丹，也有一丈多高，花开时节，绚丽夺目，宛如一团锦绣。胶州黄生爱上这个道观的清幽雅静，便借住一个房间作了书斋。
一天，黄生正在书斋中读书，偶然抬头向窗外一望，远远看见一个白衣女郎的身影在花丛中若隐若现。黄生想，道士修炼之地哪来的女子呢？便急走出书斋看个究竟，女郎却早已无踪无影了。但此后又有几次看见女郎出来，黄生便预先藏在树丛里，等候女郎再来。不一会儿，女郎果然来了，身旁还有一个红衣女郎陪伴着。黄生望去，两个妙龄女郎，红白相映，光彩照人，真是艳丽双绝。女郎愈走愈近，突然，红衣女郎停住脚步，一边后退一边小声说：“这里有生人！”黄生不肯错过机会，猛扑过去，两个女郎吓得扭头便跑，裙衫长袖飘舞起来，传来一阵浓郁的香气。黄生追过短墙，女郎们倩影又消失了。黄生爱慕极了，便提笔在树上写了一首绝句：无限相思苦，含情对短窗。恐归沙吒利，何处觅无双？
他边想边走进书斋，白衣女郎忽然笑盈盈地走了进来。黄生又惊又喜，起身相迎。女郎笑着说：“瞧你刚才气势汹汹像个强盗，怪吓人的；没承想原来是个风流儒雅的诗人呢，那就不妨会见会见了。”黄生问起她的身世，女郎说：“我叫香玉，本是妓院中人，被道士幽闭在这山中，实在并非心甘情愿的。”黄生忙问：“道士叫什么名字？我一定替您洗雪耻辱。”香玉说：“不必了。他也没敢逼我。我趁此机会跟您这位风流文士常来幽会，倒也不错呢。”黄生又问那位红衣女郎是谁，香玉说：“她叫绛雪，是我的义姊。”两人愈谈愈亲密，当夜香玉便留宿在黄生的书斋里。第二天醒来，已是红日临窗。香玉急忙起身，说：“这真是贪玩忘天晓了！”一边穿衣，一边高兴地对黄生说：“我也凑了一首诗，算是对昨天您的大作的酬和吧，请勿见笑：良夜更易尽，朝暾已上窗。愿如梁上燕，栖处自成双。”
黄生一听，喜出望外，握住香玉的手说：“您原来秀外慧中，漂亮而又聪明，真叫人爱死！离了你一天，真如千里之别。您务必抽空就来，不必等到晚上啊！”香玉答应着。从此二人每夜必会。黄生还常求香玉邀绛雪来，绛雪却总是不来，黄生颇觉遗憾。香玉只好安慰他：“绛姐的性情落落寡合，不像我这么痴情。你得容我慢慢劝他，不要性急呀!”
一天晚上，香玉突然闯进书斋，满面凄惨地对黄生说：“你连‘陇’都守不住，还望‘蜀’呢。咱俩永别的日子到了！”黄生大惊：“这是怎么说？你要到哪里去？”香玉用衣袖擦着泪，泣不成声地说：“这是天意，很难给你说清的。反正当初的诗句今日应验了。‘佳人已属沙吒利，义士今无古押衙’，可以说是为我而吟的了。”黄生一再追问究竟是怎么回事，香玉就是不肯明言，只是呜呜咽咽，哭个不止。这一夜两人通宵未眠，天刚透亮香玉就走了。黄生感到十分奇怪，惴惴不安。第二天，一个姓蓝的即墨县人到下清宫来游览，见到那株白牡丹，十分喜爱，便把它挖走了。黄生这才恍然大悟，原来香玉是牡丹花妖，于是感到怅惘，而又十分惋惜。
过了一些天，黄生听说那位姓蓝的把牡丹花移植到家中，牡丹花却一天天枯萎了。黄生痛恨极了，写了哭花诗五十首，天天跑到白牡丹原来的坑穴边上痛哭凭吊。一天，凭吊完毕，正在返回书斋，远远望见红衣女郎绛雪也在牡丹穴边凭吊。黄生便慢慢走过去，绛雪也不躲避；黄生近前拉住她的衣袖，两人相对流泪。站了一会儿，黄生邀绛雪到书斋一叙，绛雪便跟着来了。绛雪长叹一声，说：“从小要好的姐妹，竟然一旦断绝了。听到你的哭声，我更悲痛。你的眼泪流到九泉之下，也许她会为你的诚心感动而复生呢。可是死者精魂开始消散，短时间内怎么能跟我们一块儿谈笑啊？”黄生也叹息说：“都怪小生命薄，妨碍了情人，当然更无福气消受双美了。从前我多次托香玉转达我的热忱，为什么您不来见我呢？”绛雪回答说：“我以为年轻书生，十有八九是薄情儿，不知你原来是个至性至情的人。不过你我相交，只在友情而不在淫乐。如果一天到晚总是卿卿我我，那我是办不到的。”说罢就要告辞，黄生赶紧上前拦住，说：“香玉长别已使我废寝忘食。全靠您陪我一会儿，我才得到一些安慰，您怎么能如此绝情呢？”绛雪无奈，只好留宿一夜，走后还是多日不见回来。黄生独自面对窗外凄冷的雨丝，苦苦思念着香玉，夜里辗转反侧，眼泪洒满了枕席。凄苦难奈之际，便披衣起床，挑亮灯烛，按照前首诗的韵脚又写起来：山院黄昏雨，垂帘坐小窗。相思人不见，中夜泪双双。
写成之后，正在低吟，忽听窗外有人说：“有作诗者便应有和诗者呀！”一听就知道是绛雪，黄生急忙开门迎接。绛雪看看书案上的诗，顺手提笔在后面续了一首：连袂人何处？孤灯照晚窗。空山人一个，对影自成双。
黄生读了和诗，又流下泪来，也更埋怨与绛雪相见的次数太少了。绛雪劝解说：“我不能像香玉妹子那么热情，只不过多少安慰一点儿您的寂寞罢了。”黄生想同她亲热，绛雪不同意，说：“聚首的欢乐，何必这样呢？”从此，每当黄生孤独难奈时，绛雪便来一次，来了也不过是与黄生饮酒作诗，有时不过夜便走了。黄生也只好由她，因此常常对她解嘲说：“香玉是我的爱妻，绛雪您是我的良友啊。”黄生总想问绛雪：“您是院中第几株？希望早告诉我，我要把您移植到我老家去，免得像香玉似的又被恶人抢去，让我遗恨一辈子。”绛雪说：“花木像人一样，故土难离，告诉你也无益。你跟爱人还不能白头偕老，何况朋友呢？”黄生不听，拉着她的臂膀来到院中，每到一株牡丹花下，就问：“这是您吧？”绛雪掩口笑笑，不作声。
不久，腊月将尽，黄生回胶州老家过年。到了二月间的一个晚上，忽然梦见绛雪来了，愁容满面对他说：“我要遭大难了！您赶紧来，还能见上一面，晚了就来不及了！”黄生惊醒后，诧异万分，急忙命仆人备马，星夜赶到崂山下清宫，看见道士要盖房屋，地基上有株耐冬树妨碍动工，工匠们正要刨树呢。黄生急忙上前阻止。到了夜间，绛雪到书斋来表示谢意。黄生笑了说：“谁叫你从前不告诉实情来着！就该遭这场灾难！现在我算知道你的底细了。如若你再不来，我一定点一把艾草烤你。”绛雪叹息一声说：“就因为知道您要这样，所以我以前才不敢实说呢。”两人对坐一会儿，黄生又想念起香玉，对绛雪说：“目下面对良友，就更思念艳妻了。这一回家，很久没去凭吊香玉了。您能陪我去哭她一场吗？”于是二人一同走到牡丹穴边，流泪悼念了好长时间。大约一更过后，先是绛雪收泪劝慰，黄生才止住悲痛。
又过了几天的一个晚上，黄生正在书斋中寂然独坐，绛雪忽然笑着快步走进来，说：“报告您个好消息：花神为您的至情所感动，要让香玉再次降生到这下清宫中来啦！”黄生一下站起来，又惊又喜地问：“什么时候？”绛雪说：“那可不知道。大约总不会太久吧！”第二天清早，绛雪临走时，黄生拉住绛雪嘱咐说：“我这一回可是为你才回下清宫来的，你可别老让人孤零零煎熬啊！”绛雪笑笑，答应着走了。
过了两天，绛雪并没有来。黄生便跑到耐冬树下，拥抱着树，摇动着，抚摩着，低声呼唤绛雪的名字。但是没有回声。黄生便跑回书斋，抓起一把艾草，在灯下捆扎起来，准备去烤灼耐冬，逼绛雪出来。正捆扎间，绛雪突然闯进来，夺过艾草一扔，生气地说：“你要恶作剧，给人烙个疮吗？我要跟你绝交了！”黄生笑了，上前拥抱住她。两人刚坐下，香玉忽然笑盈盈，悄没声息地进来了。黄生抬头一见，登时热泪盈眶，急起身拉住她的手。香玉一手拉着黄生，一手拉着绛雪，三人相对悲泣一阵。就坐之后——真奇怪，黄生觉得自己的手掌空空的，好像并没有握着什么一样，便惊奇地问香玉，香玉流泪回答说：“过去我是花中的神，所以凝实，有形体；现在成了花中的鬼，所以虚若无物了。今天我们虽然能够会面，你不必以为是真的，只当作梦中相会吧。”倒是绛雪在一旁说：“妹子来得太好了，我快要被你家男人纠缠死了！”说罢告辞而去。香玉和黄生继续谈笑叙情，黄生觉得她像从前一样亲切可爱，可是亲近偎倚之间，总像影子一般虚幻缥渺，因此闷闷不乐，香玉也深感遗憾，就告诉他：“你用白蔹碎末掺些硫磺再兑上水，每天往我原先的穴坑里浇一杯，明年今日便可报答你的恩情了。”说罢，也告辞而去。
第二天，黄生到白牡丹穴边一看，果然冒出牡丹嫩芽来了。黄生便按照香玉的嘱咐，天天浇水、培土，还在四周修起一圈雕栏护着它。香玉晚间来时，对黄生十分感激。黄生打算干脆把牡丹移栽到老家去，香玉劝阻说：“不，我现在体质太嫩弱，经不起折腾损伤了。况且，万物生长，各有定所。我本来是不该生长在你胶州老家的，违背了反而促短寿命。只要咱俩相亲相爱，合好的日子自然会到来的。”黄生又埋怨绛雪不来，香玉说：“你一定要她来，我有妙法。”说着便领黄生举着蜡烛来到耐冬树下，她先捡起一根细草，张开手沿树身自下而上量到四尺六寸，按捺住这个部位，让黄生双手一齐给树挠痒，很快就见绛雪从树后绕出来，笑骂着说：“死妮子真坏，刚回来就助纣为虐吗？”说着三人手挽手来到书斋。香玉赶忙道歉：“姐姐切莫见怪，求姐姐暂且陪伴一下黄郎，一年后就决不敢麻烦打扰了！”从此绛雪也常来陪伴黄生。
黄生眼看着牡丹嫩芽一天天长大起来，茁壮而又旺盛，到暮春时已长到二尺多高了。他回老家时，便给道士一些钱，请他一定天天浇灌护理。第二年四月，黄生回到下清宫。牡丹恰好有一朵含苞欲放呢。黄生站在花旁，流连忘返，注视着，只见它微微摇动，开张，一会儿开得圆盘一样大，一个三四指高的小小玉美人儿端坐在花蕊中央，转瞬间飘然而下，落地就像人一般高，亭亭玉立，流光素雅，竟是香玉，笑容可掬地说：“我忍着风吹雨淋等待您来，您怎么来得这么晚哪！”两人来到书斋里，绛雪也闻讯赶来，开玩笑说：“天天代人作妇，现在好了，我可退而为友了。”三人饮酒叙谈，言笑尽欢，直到半夜，绛雪才告辞。黄生、香玉夫妻二人又恩爱美满，一如当初了。
后来，黄生的妻子去世，黄生便长住在下清宫里，不再同家。这时，牡丹已很高大，树干像人的胳膊一样粗壮。黄生常指着白牡丹说：“将来我要把灵魂寄留在这里，就在你的左边！”香玉、绛雪接茬儿笑他，说：“可别到时忘了你的诺言！”
过了十多年，黄生忽然病危，他的儿子从老家赶来探望，不禁哭泣起来。黄生自己倒很坦然，笑着说：“这是我的生期，又不是死期，你哭什么呢！”又转向道士说：“将来牡丹花下有一个红芽冒出来，一长五片嫩叶，那就是我。”说罢便不再作声。他儿子用车把他拉回家去，他便溘然长逝了。第二年，牡丹花下果然冒出一根又肥又旺的红嫩芽，果然是五片小叶。道士觉得神奇灵验，更加注意浇水护理。仅仅三年．这株牡丹就长到几尺高，主干有两只手合围那么粗，格外茂盛，只是不开花。老道士死后，弟子不知道爱惜，竞把它砍掉了。不久，白牡丹也枯死，耐冬树也死了。