话说杨巡抚，被夫人一席话说得仰天长叹。因关自己女儿之事，恐知县掬出情由，治其罪名，不便申详，祇得取一纸条，书数字，今旗牌送至长沙县去。
却说长沙县，正欲将美玉收监。忽见巡抚旗牌到来，手中执一纸条，交上公案。知县看时，祇见是一行草书，略曰：奸徒罪大，奈事关本院，从轻恕之。知县看毕，然后旗牌乃退。
那美玉脆伏堂下，见了旗牌。祇道巡抚与他作主，不料未及片言，遂去。正不知何放。知县曰：“尔这不法奸徒，本欲决尔死罪，今杨大人将尔饶恕。嗣后务要痛改前非，休得自误了性命。”美玉叩头而退，因被夹棍伤了，祇得以手就地，匍匐而出。
到了头门，正遇童仆来安，扶持而行。安曰：“仆自廊下饮酒，闻得相公被县差锁去，仆即慌忙告知巡抚。巡抚大怒，正欲今旗牌官来提知县，又被夫人阻住。却原来是小姐认出相公的面貌来了，对夫人说知，故使人到县中叫了差来的。”美玉闻言，仰天叹曰：“事有一定，不可强也。我复有何面目再转公馆，可到前面东岳庙中暂歇。尔可去到寓所收拾铺盖，并将前日老夫人私下送来的金宝缎匹俱捡拾。可即雇一快船俟候，便请一小轿来接我便了。”
正言间，已到了东岳庙前，来安扶到大殿上座下。来安即抽身至公馆，一一收拾。雇了船只，即请了小轿，到东岳庙来接了美玉下船，即行开船。美玉心中闷闷不乐。来安乃曰：“虽然未得小姐，也得了许多金珠缎匹，算来不暇千金，难道取不得一个美貌佳人不成。”美玉曰：“我此番若不娶一才女，有何面目回家。不如将这些对象带往苏州，求娶一佳人便了。”
于是主意既定，乃顺水而下，直抵苏州。租了公馆歇下，令人各处访求女子，务要才貌两全者。此话一出，各处有人说媒。但所说女子亦皆寻常，有才者未必有貌，有貌者未必有才。
一日，有王媒婆说，桃花坞有一吕宅，其家有一女子。年十六岁，最善诗歌，十分美貌，祇是要身价银五百两方可。美玉闻言大喜，曰：“祇要人才两美，何借千金。”媒婆曰：“诚如是。老身明日相邀，同去看看，包管相公中意便了。”美玉允诺，媒婆辞去。
明日复来，邀了美玉同往。到了桃花坞，祇见家家门首立着少年女子，穿红着绿，倚门而望。及到了吕宅，坐定，有一老儿送出茶来。茶罢，那媒婆抽身入内。
过了许久，见几个老妇与媒婆，带出一个少年女子来。那女子周身浓妆，却也有几分姿色。见了美玉，便以目送情。
美玉暗想：“此女颜容虽可，却不象闺门女子，且试他才学如何。”遂曰：“昨闻王妈妈盛称大才，善于诗歌。请将胸中锦绣略吐一二，以广我见闻。”那女子更不推辞，遂以口歌手舞，其歌竟是曲文。美玉曰：“我非爱歌妓，所爱者文才也。”媒婆曰：“相公既见其一，必知其二。他最读得书多，岂不能文。如若不信，当面见功便了。”美玉曰：“既能文，请以今日为题，乞作佳句。”女子曰：“妄自幼读诗，末曾见过这个题目。祇是那题人影上有一句曰：‘今日归来雨又晴’，可是真否？”媒婆接口曰：“相公，此女在苏州城中，算得有名，通今博古，无人可及。如今才貌俱见，果然好么？”美五曰：“我要他作新诗，那要他讲旧文。”言讫，遂欲起身。那媒婆扯住曰：“相公不要看高了眼色。我苏州也算得中华胜地，要取这样女子，却也难得，不要当面错过了。”美玉弄得不耐烦，乃曰：“女子我已中意，明日回话便了。”言讫，遂起身出了吕宅。
走过几家，将欲转鸾。忽有几个女子拖拖扯扯，弄得美玉进去，遂将美玉迷缠。这一时高兴起来，把几个女子一看，摇头曰：“有好的唤来。”众答：“有。”须臾，祇见方纔吕宅那女子自后而来。见了美玉，抽身便走。众女叫曰：“吕桂姐，有客在此。”美玉笑曰：“适间已会过了。”
正欲起身，忽有一人，衙捕打扮，自外而来。见了美玉，便作色曰：“尔是何人。清天白日，来此何干？”美玉曰：“我在门首经过，被他们扯进来的。”那人指美玉曰：“你若是好人，总不到此地来，同我前去见官。”乃从腰问取出锁来，将美玉锁了出来。美玉到也有口难分，祇得说：“我是失路之人，入了他的圈套，求大哥见怜。”乃从身上取出白银几两，交与那人，曰：“这有几两银子，送与大哥茶费。”那人接过银子，遂开了，锁曰：“看银子份上，饶尔去罢。”
美玉转到寓所，闷闷不乐。来安祇道他看女子不中，哪知他有许多缘故，静坐公馆纳闷不过。
一日，天气晴和，令来安带了文房四宝，出东郊游玩。时正暮春，傍花随柳。约走了十余里，见有一村庄，颇觉庶富。右边有一大厦，门口直书“刘府”二字。旁有一花园，十分美丽，园门大开。
美玉与来安同入内观花，但见奇花百种，尽皆开放，妙不可言。又有彩楼画阁，阁下有鱼池，池边青石栏杆。忽见一美女，立于池边观鱼；又有一婢，手执羽扇，倚栏侧立。那女子探摘一枝桃花，捻于手中，指东画西，笑容可掬。
美玉潜于花丛中，仔细一看，果有沉鱼落雁之容，闭月羞花之貌。忽有一兔儿望花丛中潜入，那婢女拾一瓦片望丛中抛来，美玉将头一斜。那女子见有人在花丛中，便入花帘中去了。
美玉立起身来，高声戏吟曰：
姐手捻花枝，花枝与姐开。
姐貌果羞花，花应落姐后。
吟罢，那婢女曰：“小姐在此看花，尔是何人，亦敢擅入花园？”美玉正欲回言，忽闻帘内低声唤春香，那婢女亦进帘中去了。
美玉趣极，乃取笔向阁下粉壁上题绝，云：
花园得趣兴将狂，先有嫦娥到画堂。
春色满园堪其赏，何须帘内避张郎。
吉水张美玉题
写毕，念了一遍，自觉有趣。忽一人自外而入，叱之曰：“尔是何人？擅敢入此花园，可速出去。”弄得美玉没兴而出。
原来这刘府，乃是本朝军师刘伯温之后。见有一告病官员刘元解在家，向为云南布政。其子刘忠，年纔十九岁，已钦点翰林学士，见为太子师。
这花园内女子，即刘元辉之女秀英也。其父每为议婚，必使女考郎才，凡数十次，竟无可及者。无知少年，必使婢逐打，受辱者常多。
是日，与婢春香游于花园。见了美玉，便潜入珠帘内。觑见美玉眉清目秀，丰姿可人；又闻其戏语，见其题诗，甚是惊爱。因仆正兴将美玉叱出，乃移步至壁间看其诗句。因想其情，欲和其韵，又恐他人知觉不雅。遂使婢以水洗去其诗，却自题一绝和之。
写罢，又将美玉之诗用纸抄了。再读之，愈觉有情。乃叹曰：“真奇才也。”又复想：“我这花园牵长闭锁。此生纵然复来，又如何得进花园？这诗句题在此间，岂不明珠暗投了。”乃复使婢抹去。却携笔砚出围墙外来，将和诗写在墙外，却自转绣房去了。
再说美玉被正兴叱出，心中念念想着池边美人。于路询知其家是世宦，见有刘元辉老爷在家。
当时转到寓所，明日又要复往。其仆来安谏曰：“此等地方，一之已甚，岂可再乎。”美玉曰：“非尔所知也。这样人家，有这样女子，其胸中必有才学。我已题诗在园中，料此女必怜而和之。昨日虽然被他逐出，此乃无知小人，何必介意。我此番复去，或见了他家老爷与及池边美人，我便以才学动之。”
于是，美玉复游于东郊。到了刘庄，日已近午。走到花园门口，祇见园门紧闭。美玉乃绕墙散步，祇见墙上有诗一首，其诗曰：
诗家常念谪仙狂，谁觉仙风到草堂。
惟有芳桃能自艳，斋心静俟看花郎。
帘中女题
美玉看罢大喜，曰：“此非池边美人和我之韵耶？”乃取笔挥一词，云：
一睹仙容魂散，满腔心事谁知。
东瞻西盼竞差迟，装聋作哑如痴。
写毕，自语曰：“今观此诗，足见其才与意也。不料我美玉也有这个奇遇。”又曰：“庭瑞、庭瑞，尔月下才女未必胜我池边美人矣。”
正自乐处，祇见天上阴云密布，雷电疾作。来安曰：“雨来了，可回去罢。”美玉亦忙转身。于路且思且走，不觉风雨骤至，又无处可避，淋得遍身透湿。不题。
却说秀英小姐，自从和诗之后，寤寐皆想着看花书生。又不知他题诗后，曾复来否。正寻思间，见书房壁上挂有一副书生衣巾。遂生计曰：“以才怜才，情所难舍，何区区守此俗规。”遂将衣巾假扮男装，手执小扇，由耳门而出，往城中访美玉。临出门时，暗嘱春香勿语。
却说刘元辉偶自散步，来到围墙外。忽见墙上有诗数行，看了大怒。又见有词，笔迹不同，乃归问其妻景夫人，曰：“汝女与谁有私耶？”夫人曰：“是何言也？”元辉乃将墙外之诗告之。
夫人不解，乃问婢女春香，春香诈推不知。夫人骂曰：“使尔伏侍小姐，理宜侍坐随行，敢谁不知么？我且问尔，小姐何在？”春香亦推不知。夫人怒，乃以鞭挞之。春香受挞不过，乃直言花园始末，并及男装访美玉之事。
夫人急得面如土色。元辉乃至秀英书房中，搜出美玉诗句。乃大怒曰：“我家世代簪缨，岂容此辱女坏我家声。”遂正衣冠，打轿直抵吴县。
使仆投帖入内，吴县即行出迎，至后堂坐下。元辉乃将游园之事，以及美玉题诗之故，又言：“美玉拐诱女儿男装私奔，求县主作主，欲除灭女儿。”
于是，县主即发火签，差人捉拿美玉。元辉乃使仆正兴同往捉拿。正兴领命，与公差合在一处，向各处寻捕去讫。元辉乃辞归，心中闷闷不乐。夫人私问随仆，乃知元辉欲除灭女儿。遂使人知会正兴，要卖个眼色，不许捉拿女儿。
正兴得了这个消息，又恐违了老爷之命。思索间，祇见一书生挨身而过，视之，即小姐秀英也。因思老爷、夫人亲不过自己骨肉，无非一时之气，不如卖个人情，免得他日埋怨。回顾公差尚远，乃扯住小姐，低声曰：“老爷大怒，已告知县主，着公差捉拿题诗人与小姐了，可速避眼前之风。”秀英闻言，遂望南而逃。不题。却说美玉，自从见了墙外诗句，如获至珍。正想情不了，乃出门外闲散。又欲往东郊探望，寻思无计可以进身。忽见前日花园内叱驾的家入，带着公差而来，见了美玉便锁。正是：
方思刘府无由入，谁觉公差有意来。
未知美玉如何，且听下文分解。
方加之以杖，又加之以夹。既然招出情由，便当制之死地。巡抚忽然一宽，真令读者惊悴。菊英识出面貌，来安道破情由。乃叹曰：“事有一定，不可强也。”若因此便正心修身，何尝做不得好人。
有才者未必有貌，有貌者未必有才，故孔子曰才难，不其然乎。既欲取其貌，又欲取其才，除菊、秀之外，复何取焉。昔在湖南，全然不用文墨；今在刘园，开初便题新诗。不用文墨，到也有荣有辱；既题新诗，竟然有辱无荣。才藏美玉之腹，犹美玉投于污泥之中矣，可不惜欤。
美玉之诗因情而作，秀英之诗见韵而和。一则书于粉壁之内，一则书于园墙之外。正所谓“春色满园关不住，一枝红杏出墙来。”
庭瑞与菊英，在吴江一唱一和，何等情景，何等安闭。美玉与秀英，在刘园一唱一和，何等寂寞，何等慌忙。庭瑞则泰然自安，科甲联捷。美玉则终朝不宁，杖夹常殃。理有君子小人之别，于此可鉴矣。