三桂有四个女婿：胡国柱、夏相国、郭壮图、卫朴。他们颇具才干，或文，或武，或文武兼备。如胡国柱，字擎天（一说汝弼），号怡斋，善诗文，有大志，顺治甲午年（1654年）中举。【《庭闻录》，卷6，5页。参见《滇粹》，“旅滇闻见随笔”。】
吴国贵，三桂的大将，早在关外时，便追随三桂，军功颇多，官至都统，治军严，敢争战，很受三桂重用。
方光琛，字献廷，原明礼部尚书方一藻之子。此人善谋略。
刘茂遐，字玄初，是三桂的重要谋士。
马宝，字城璧，山西人，为人反复无常，号“两张皮”，狡黠善战，以勇著称。
在吴氏集团中，除了上述所提到的三桂弟侄，还有三桂的一批子弟，这些人都不见经传，但都在吴氏集团中占有一定地位，形成一股势力。在外省，也有三桂的心腹，如固原提督王辅臣等，也应包括在这个集团之内。
这批人中，除了个别的岁数稍大，绝大部分都在二十至四十岁之间，他们雄心勃勃，都希图借助三桂的权势飞黄腾达。三桂也凭借自己的地位和权力给予他们特殊的利益，个个华屋美食，享受着种种特权。如果撤藩，回到关外，不过经营田庄罢了，他们中很多人的仕途即告终止。失去政治上的靠山和特权，其子孙的发展将受到限制和阻碍。值得注意的是，这个集团的某些人还抱有复明反清之志。如胡国柱“时以恢复宗国（指明）相磨砺”，阴结马宝，张国柱、李本琛、复国相、方光琛，互为羽翼，从思想上逐渐向三桂渗透，影响他，以备有朝一日起兵。【《旅滇闻见录》，见《滇粹》】而圣祖撤藩，触犯了他们的根本利益，激发了他们反清的思想，他们不会心甘情愿地接受朝廷对自己的剥夺。
圣祖撤藩也使吴藩属下的广大基层吏民感到不安，多抱抵触情绪。据吴三桂报，他属下家口多达数万人。如按地域分，主要由三部分人构成；一是辽东人，他们是跟随吴三桂降清的原班人马，经三十年的转战流徙，病死、战死、伤残，或间有逃亡，已损耗甚众，即使健在的，也已年迈。当初离辽东时，他们中有些还是几岁或十几岁的孩子，现在已长大成人，辽东在他们的心目中，只留下故土的模糊概念，他们已适应了南方的生活。所以，真正怀念故土的为数不多。二是黄河以北的人，如山西、陕西、河南、河北等省，当年都曾是三桂战斗过或驻防过的地方，曾收编了大批农民军余部，这些人对辽东没有故土之念，要他们迁到山海关外，他们不抱热情。三是四川、云贵等省的人，他们或是张献忠的余部，或是南明统治下的土著人，他们对辽远而寒冷的辽东抱有畏惧心理。在他们的心目中，辽东曾是发遣罪犯的地方，如今要把他们迁到那里，简直被看成是被贬谪戍！这部分人最不愿到辽东。
从康熙元年，三桂藩下家口开始迁往昆明和云南边镇要塞，三年迁完，都已在云南生活了九至十二年，房产、地产无不丰饶，家道正隆，而战争已结束，开始过上安定舒适的生活。他们以为，能跟吴三桂永镇云南，并把它作为自己的安身立命之所，对搬迁辽东毫无思想准备。他们长期转战，四处为家，热切生活安定下来，不希望再东搬西迁。他们从切身的经历中，已体验到每搬迁一次，都使刚刚建立起来的家园受到一次破坏，遭到损失。他们在云南所置家产要比他们以往住过的任何地方都丰饶，因而损失也更大。所谓人心“安土重迁”，他们对搬迁早已感到厌倦，可以设想，圣祖的撤藩怎能得到他们的拥护呢！在他们看来，撤藩不是皇恩浩荡，恰是降临一场灾难！“藩下数十万家口无不愁苦”【孙旭：《平吴录》，5页。】，虽系夸大的流言，在一定程度上也反映了三桂所属将吏家口的普遍心理。他们“愁苦”，思想深处不无怨恨的情绪，这也都在情理之中。
撤藩令，如一道冲击波，袭击着吴三桂和他的数万将士及家属的心，激起了一阵阵思想动荡……
当云南正为撤藩的事惶惑不安时，北京城中，清统治集团也为加速撤藩而忙碌着。康熙十二年，从八月九日到十八日，圣祖连连向兵部、吏部、户部发出撤藩的具体指令。他指示兵部：
兹因地方底定，平西王吴三桂、平南王尚可喜、靖南王耿精忠，各具疏请撤安插，已允所请，令其搬移前来。地方应行事务，及兵马机宜，必筹划周详，乃为善后之策。应各遣大臣一员，前往会同该藩，及总督、巡抚、提督商榷，作何布置官兵防守地方，并照管该藩等起行。应差官员职名，开列具奏。【《清圣祖实录》，卷43，3~4页。】
指示吏部：
云南地属远疆，今该藩官兵既撤，控制需人，应专设云南总督一员，添设提督一员，责成专管料理，尔部速议。【《清圣祖实录》，卷43，5~6页。】
在指示吏部的同一天，圣祖向户部下达新指示：
平西王吴三桂、平南王尚可喜、靖南王耿精忠等请撤安插，已允搬移。该藩及各官兵家口安插地方，所需房屋田地等项，应予为料理，务令（三藩）到日，即有宁居，以副朕体卹迁移至意。【《清圣祖实录》，卷43，6页。】
圣祖给吏、兵、户部指示内容，主要有三点。第一，由兵部派遣大臣各一员，分别去云南、福建、广东，他们的主要任务是，会同该藩与本省总督、巡抚、提督协商，在各藩撤走后，如何重新布置兵力，防御地方；同时，照管该藩动身启程事宜。所派大臣名单上报，由圣祖亲批。第二，吴藩撤走，要专设云南总督一员，增设提督一员，由吏部推选。第三，指定户部在三藩新迁到的地方，安排所需住宅、田地，使三藩官兵迁来之日，即有住处，生活不致发生困难，务使他们感到朝廷的关怀和体贴。
待诸事部署完毕，八月十五日，圣祖迅即选派礼部右侍郎折尔肯、翰林院学士兼礼部侍郎傅达礼为钦差，专程前往云南；派户部尚书梁清标往广东、吏部右侍郎陈一炳往福建，经办各藩撤兵启程事宜。【《平定三逆方略》，卷1，12页。】圣祖特别重视吴藩，于八月二十四日，折尔肯等赴云南前，特赐给他们自己所佩刀各一口，良马各两匹，以重事权。圣祖亲笔给三桂写下一道手诏，也交给他们携带，向三桂宣布。手诏写道：
自古帝王平定天下，式赖师武臣力；及海宇宁谧，必振旅班师，休息士卒，俾封疆重臣，优游颐养，赏延奕世，宠固海山，甚盛典也。王夙笃忠贞，克摅猷略，宣劳戮力，镇守疆，释朕南顾之忧，厥功懋焉。但念王年齿已高，师徒暴露，久驻遐荒，眷怀良切。近以地方底定，故允王所请，搬移安插。兹特遣礼部侍郎折尔肯、翰林院学士傅达礼前往宣谕朕意，王其率所属官兵趣装北来，慰朕眷注，庶几旦夕觏止，君臣偕乐，永保无疆之休。至一应安插事宜，已敕所司饬庀周详，王到日，即有宁宇，无以为念。钦哉！【《清圣祖实录》，卷43，6~7页。】
圣祖在这份亲笔手诏中，高度评价三桂的劳绩，温语有加，关怀周详，丝毫看不出朝廷对他的怀疑。但他明确暗示，一经撤藩，可使君臣两相无猜，三桂得保荣誉，延及子孙，与朝廷共享太平之福。圣祖对三桂迁居后的生活做了保证，一切安排都务使他满意。圣祖的这番话，着重解释了朝廷撤藩的意图和政策，充满了对三桂的热情，目的是安抚他，消除他的疑虑，以期撤藩不致发生麻烦，得以顺利进行。圣祖自以为这是一项很好的解决办法，三桂会欣然同意的。可借，三桂和他的将士、乃至家属所想的，跟朝廷的意图距离太远，这就使撤藩伊始，就陷入了两种不同的利益难以统一的矛盾之中！
折尔肯一行还没动身赴云南，圣祖紧急指令户部侍郎达都前往陪都盛京（沈阳），会同盛京户部侍郎，奉天府尹察看划拨给三桂的土地、住宅是否合适。他指出，凡贫民劳苦开荒的土地和他们的房屋，不得察看和占用。再有当地驻守官兵分内的土地与房屋，也不许察看。除此以外，有开垦田地、皇庄、马场、王与大臣、侍卫等人的庄田房屋，以及空闲之地，务要尽行查看，如这些庄田、房屋数不足，可就近酌量查看。他提示，山海关九门边墙外，也不必考虑。如还不够安排，可在别处边墙外，酌量查看，将所查结果，向他报告。【《清圣祖实录》，卷43，9页。】
总计三藩撤离人口不下六七万，所需土地和住房的数量是相当庞大的。把他们都迁到辽东，如何安排好，也不是件容易事。圣祖还是想尽力把他们都安置适宜，使之各得其所，安居乐业。他感到也算尽了心了。
派出折尔肯一行前往云南后，圣祖再派户部郎中席兰泰、兵部郎中党务礼、户部员外郎萨穆哈、兵部主事辛珠往贵州，负责办理吴藩搬迁时所需夫役、船只和人马、粮草。圣祖告诫他们，不得骚扰地方驿站夫役，要慎重从事，吴藩人马行经水路，要代为备办船只，不可迟误。【《清圣祖实录》，卷43，11~12页。】