三桂死后，诸将领否决了北上争天下之议，专力保守云贵，但也不想轻易丢弃湖南，还在尽一切力量力图保住湖南。这对保住云贵仍然是一大关键。愿望如此，却不能左右形势的逆转。自三桂一死，军心进一步涣散，愈发不可收拾。吴应期坚守岳州，勉强维持到康熙十八年正月，便弃城冲围而逃。丢弃岳州，湖南门户洞开，时刻待命渡江的荆州清军于正月二十七日蜂拥渡江，千帆竞发，漫江而来。圣祖下令展开总攻击，遂成破竹之势，吴军全线溃退……
吴应期自岳州撤出后，奔长沙，不敢多停留，于正月二十九日烧毁船只，弃城逃跑，率残部投向辰州，胡国柱也同吴应期撤出长沙，退屯辰龙关，与吴应期相掎角，企图力守。【《清史稿·吴三桂传》，卷474，12848~12849页。】
吴军一撤出长沙，清军随后入城。长沙不战而得。圣祖指示：“贼失岳州、长沙诸要地，正当惊惶骚动之时，乘机进取衡州，击灭逆贼，殊为要务！”他命令大将军察尼，发水师营总兵官等率绿旗兵三千八百、沙船一百、快船八十赴长沙。除此，速发满洲兵，多带船炮，尽快至长沙。【《平定三逆方略》，卷43，8~9页。】给广东尚之信发布进军命令：“乘此各路贼寇涣散之际，平定广西。”他要求尚之信，将军莽依图、舒恕、额楚、傅弘烈、总督金光祖等“勿失事机，速定广西”。下诏江西总督董卫国，率所部兵赴大将军岳乐处，协力攻取衡州等地。【《平定三逆方略》，卷43，11页。】
荆州清军一路由署都统多谟克图等率师渡江，据守对岸的太平街、虎渡口等处的吴军放弃抵抗，悉数溃逃。一路由顺承郡王勒尔锦率领，比前一路迟二天，即于二十九日渡江，驻元始，前队官兵分路追剿，松滋、枝江、宜都（均在湖北省境，荆州上游，长江南岸），还有石门、慈利诸县与澧州的吴军不战而逃，尽被清军收复，守百里州（松滋附近），吴将洪福率舟师投诚。【《平定三逆方略》，卷43，12页。】二月十四日，勒尔锦抵澧州，遣派固山贝子准达等率部进取常德。吴军不守，在清军未到之前，纵火焚烧城中庐舍与船舰，然后逃遁。
十八日，清军入常德府。大将军简亲王喇布先后攻下华容、安乡、湘潭，二月初七日复衡山县（今仍名），令前锋统领希福等收衡州。吴军闻风丧胆，吴国贵、夏国相等自度难守，弃城而逃，十三日，喇布率清军开进衡州。这座曾被三桂即位时更名为“定天府”的行在，固守多年而一朝失掉，没有逃脱的官员一百余人投降。【《平定三逆方略》，卷43，13页，参见《逆臣传·吴三桂传》】清兵没有停留，由衡州继取耒阳、祁阳（今仍名），三月五日，再克宝庆（邵阳市）。
自正月吴军由岳州撤退，湖南战场形势为之一巨变：各处吴军不守，闻风即逃，其势如退潮，在不到两个月的时间里，自北而南，吴军毫不停歇地向后退去，清军马不停蹄地尾随紧紧追逐，几乎是兵不血刃，追到一处，得一处。于是，在湖南的广阔战场上，出现了一种战争的奇观景象：一方铁骑如云，玉轴相接，似狂潮奔腾，似疾风骤雨，滚滚向前，席卷而来；一方丢盔卸甲，溃不成军，急急如丧家之犬，狂奔逃命。造成这种局面，其基本原因是吴军失去统一指挥，将帅们已完全丧失战斗意志，无心抵抗，清军未到，率先逃跑。至三月间，吴国贵、马宝、夏国相弃衡州出逃，奔永州（零陵），被穆占部击败，逃向新宁（今仍名），再逃至湖南的西南部、接近贵州的武冈（今仍名），暂获喘息，驻扎下来。清军取永州后，南下取永明（江永）、道州（道县）、江华（永明东南侧）、东安（今东安南）等县城。
吴应期、胡国柱、王绪等经长沙一口气逃到辰州，安营扎寨，依险据守。到这时，除了辰州、武冈、新宁，湖南绝大部分地区都被清军占领。
残留在辰州等地的吴军处境极为狼狈而艰难，据清兵于四月末侦探报告，逃到辰州的吴军不下万人，大部分兵士无甲，看军势，“比往日在澧州、衡州之军势冷淡极矣”。仅有窝统四五千，在此之前，所拥有的大炮、鸟机、兴隆等炮都丢弃了。“军饷全无”，新从云南发来两船金子，每名军士该给银五两，折金子才四分几厘，买酒买肉都不够用。差城中文武官下乡买粮，只能买到三五十石，没有买过上百石的。每名军士给谷二斗，不够吃。又据清朝方面侦探，“贼兵全是黔蜀土司为之窃用”。他们粮饷不足，特别是从云贵征来的苗瑶士兵大为不满，甚至怨恨。每天夜里，几十人、上百人逃跑了，都说：“大兵（指清兵）一到，不过一走。”吴国贵、马宝等诸将每天愁眉苦脸，叹息不已。马宝曾同胡国柱等人议事，说：如支撑不住，只管扯回铁索桥据守，他同几个将军横冲直走任何地方。军中将士都怨恨吴应期“将岳州大门打开”，以致清军势大难敌，吴军不断败逃。【以上见《明清史料》丁编第10本，955页。】
又据清兵侦探于五月二日进一步探明吴军驻守辰州地区的兵力部署情况：从界亭驿（辰龙关附近）往下，至神龙关，有吴军守关，其背后郭家溪有军埋伏。在辰州坪，有将军王惠带兵二千余人，扎有木城；在清捷铺，有将军巴养元带兵二千余人，周围挖有马堑；在惠姚铺，有吴应期自领兵二千余人；在辰州府城有姓赵的将军带兵二千多人，驻扎西关。胡国柱住在城内，往来办理粮草。在水路，白溶（应为“北溶”，白、北两字音近）渡口驻有祖述舜将军所领三千余人镇守。至五月二十四日，又增加了王将军所领两千人，把守青浪地方。还有姓柳和姓周的两总兵带水军三千多人，有战船八十三艘，在青浪停泊。【《明清史料》丁编第10本，956页。】
吴应朝等在以上城镇驻兵，皆在辰龙关到辰州之间，各据险要固守，陆续集结溃散吴军，已达一万三千余人。吴应期等决意在此固守，企图阻止清军进入云贵。辰州（沅陵）临近贵州和四川，位沅江之畔，由水路和陆路直通贵州。特别是辰龙关“乃通云贵的孔道”，此关一带，山势险峻，林木森密，人行不易，骑兵不能成列。辰龙关为辰州的门户，不破此关，也就不能通过辰州。还在三月间，勒尔锦部已至辰龙关附近，但见群山林立，林深路险，不敢进兵，畏缩不前，又赶上雨季，便以种种借口，“急行退还”，因而使吴军得以从容部署，构筑防御工事，在此稳定了局面。圣祖对勒尔锦和他派遣取辰州的将领非常不满，给予严厉申斥。【《平定三逆方略》，卷44，11~12页。】从五月七日到二十四日，清谍工又进行侦察，所报吴军人数比前次侦察时有所减少，可能是兵士不断逃亡所致。【《明清史料》丁编第10本，957页。】
迟至七月，清兵仍没有进攻辰州。大将军简亲王喇布指挥下的清军，在辰州南的武冈（今仍名），向据守的吴军发动了强大的进攻。异军骁将吴国贵率残部二万余人与清军对抗。喇布派穆占及其所部于八月一日先取新宁县，然后与大将军安亲王岳乐合军攻武冈、枫木岭等处。他们知道吴国贵是一劲敌，不敢轻视，特集结优势兵力：岳乐率每佐领各十一人、绿旗兵一万人，约计一万五千人，简亲王喇布所部也不下二万人，合计近四万。激战在枫木岭隘口展开。吴军尚有战斗力，没有溃退，而是迎战上前，拼力厮杀。新降的林兴珠与提督赵国祚等将熟知吴军内情，他们亲率清军奋击，击败了吴军。在枪炮互相轰击中，吴国贵误中冷炮，当即倒在血泊里。吴军一看主帅身亡，弃武冈而逃。固山贝子“定远平寇大将军”章泰（岳乐已调回京师，其职务由章泰接任）等率所部追到木瓜桥，再败吴军。武冈、枫木岭随之而下。【《平定三逆方略》，卷46，10页。】
继武冈战役后，辰州的战役也相继开始。从辰龙关至辰州，再至辰溪（今仍名，在辰州南），吴军沿沅江分水陆两路固守。胡国柱原守辰州，不久又改调到辰溪驻守，吴应期仍驻辰州灰窑铺，其他将领杨有录、周祯、杨宝荫、祖述舜等各率所部占据要地。为了迷惑清军，他们每天都变动驻守地，“迁移不定”。吴军逃亡情况严重，有的营地的兵士几乎逃尽了。【《明清史料》丁编第10本，962页。】