一南京国民政府既已正式成立，并选胡汉民为主席，此外军事委员会和总政治部也次第成立（总政治部主任为吴敬恒，副主任为陈铭枢），乃公开否认武汉中央的合法地位。武汉方面也于同时以国民政府主席汪兆铭的名义，下令撤去国民革命军蒋总司令职务，另以冯玉祥为国民革命军总司令，唐生智副之，并拟组织所谓“东征军”，顺流东下，讨伐我辈“叛逆”。在汉的原有激烈分子如徐谦等，冲动之情已不消说，即汉方军人唐生智、张发奎、程潜、朱培德辈，也都摩拳擦掌，恨不得一举荡平东南，方泄其愤。
我方对此种威胁，自不得不采取相应防御措施。先是，江右军总指挥兼南京卫戍司令程潜，因同情汉方反蒋，已先期离宁返汉。程氏第六军中的两师精锐，一在南京，一在江北。程氏去后，其在江北的一师遂取道淮河北岸，遁返武汉。原驻南京的十九师因我军监视很严，遵命改编为“暂编第六军”，由原第六军参谋长杨杰晋升军长。
正当宁汉双方阋墙之争相持不下之时，新近败北的孙传芳残部和直鲁军主力也开始向我反攻，意图卷土重来。4月12日直鲁军许琨部自淮河南下围攻合肥，我军马祥斌部正死守待援。另路直鲁军则沿津浦路南下，攻占浦口，并经常以野炮隔江轰击南京。时西线敌军也图南犯，奉军精锐正由张学良率领，自京汉线南下至驻马店，威胁武汉。处此紧要关头，宁汉双方如真自相火并，必将同归于尽。
4月下旬，南京方面军事委员会乃决定继续北伐，以减除江北敌军的威胁，并解合肥之围。5月1日，军事委员会正式发布命令，将东线各军分编为三路，继续北伐。第一路总指挥为何应钦，辖第一军（欠一、三两师，何自兼军长）、第二十六军（周凤岐）、第十四军（赖世璜）、第十七军（雷万顺）；第二路总指挥由蒋总司令自兼，白崇禧代行，辖第四十军（贺耀组）及第一军的一、三两师（杨杰指挥）、第六军（亦由杨杰指挥）、第三十七军（陈调元），陈调元并兼前敌总指挥。我则受任第三路总指挥，以王天培为前敌总指挥，辖第七军（夏威）、第十五军的第二师（师长刘鼎甲）、第四十四军（叶开鑫）、第二十七军（王普）、第十军（王天培）、第三十三军（柏文蔚）、独立第五师（师长马祥斌）。
此期北伐计划我军作战的总方略，系以第二、三两路为主力，由皖北攻截津浦路，第一路则陈兵于镇江、常熟一带，俟二、三两路奏功后，渡江北进，以肃清苏北之敌。
计划既定，我遂将所部分为五个纵队，指定集中地点，克日出击，其战斗序列如下：
第三路总指挥 李宗仁
前敌总指挥 王天培
第一纵队指挥官 叶开鑫
第四十四军
第二纵队指挥官 夏 威
第七军（缺第二师）
第三纵队指挥官 胡宗铎
第七军第二师 胡宗铎
第十五军第二师 刘鼎甲
第十五军独立旅 严 敬
第四纵队指挥官 王天培
第十军
第五纵队指挥官 柏文蔚
第三十三军
总预备队指挥官 王 普
第二十七军
命令下达之后，第十军暨第二十七军乃于5月3日由大通渡江，向庐江、舒城集中。第七军则分三处渡江，第一师于5月5日自西梁山，第三师7日自芜湖，第二师及十五军于6日自荻港开始渡江，7日渡毕。
斯时江北敌军为程国瑞和许琨等部，一经接仗便纷纷溃败后撤。5月11日我第一纵队遂占领含山，第三纵队也于同日占领巢县。12日第二纵队进驻巢县，与第三纵队会师。第四纵队也于同日抵达舒城。
敌军溃败后，复将主力二万余人集结于柘皋、店埠、梁园附近，与前攻合肥之敌刘志陆、张敬尧等联合，以图顽抗。我二、三两纵队遂向柘皋推进，以寻找敌军主力而歼灭之。
当我方决定继续北伐时，武汉军似乎真在作“东征”准备。目击此一危机，我乃于4月间派参谋长王应榆往汉，向武汉各领袖陈述我的意见。我力主双方均承认既成事实，大家分道北伐，待会师北京，再开会和平解决党内纠纷。王氏抵汉后，不久便有电来说，武汉中央大体同意我的建议，主张先将北方之敌击溃再说。
武汉方面情势虽转缓，唯江西方面的朱培德反蒋仍力，有待疏通。先是当我军于3月末离赣东征时，武汉中央遂将亲蒋的江西主席李烈钧撤换，而代之以朱培德。朱氏衔蒋甚深，积愤已久，一旦取得江西省省主席地位，遂激烈反蒋，所有在赣的蒋系人物悉被摒除。朱氏并亲作长书致何应钦，历数蒋的偏私狭隘、市私恩、图独裁等各项罪状，力劝何氏加入反蒋阵营。何应钦在南京曾将此函示我。该函确系朱培德亲笔，长凡十余页。我问何应钦：“你把这信给总司令看了没有？”
何说：“我当然要给他看啦！”
这时朱培德陈兵于九江、湖口一带，武汉如真来一次“东征”，则朱培德部势必为先锋无疑。为彻底避免革命军自相残杀，我认为有一晤朱氏的必要。因此，当我军开始渡江北进时，我乃电约朱氏一晤。5月11日，我自芜湖专轮西上，翌日抵湖口。朱氏乘轮来迎，我遂过船与朱氏倾谈。
朱氏和我一见面当然就痛诋蒋氏，并力述南京另行成立中央的非计。我则说，此一问题的是非曲直极难辩明，何况南京国府已经成立，欲罢不能。眼下当务之急，不是辨是非，而是解决实际问题，如何避免宁汉双方的军事火并，然后再缓图彻底解决。我更强调说，如果武汉方面真要“东征”，从地理和军队位置说，当然以他的第三军为先锋，则首当其冲的便是现驻安徽的第七军。试问以第三、七两军自相砍杀，武汉方面有无制胜的把握呢？如两败俱伤，岂不是替北方军阀造机会，使宁汉同归于尽吗？我一再申说，为今之计，只有宁汉双方承认既成事实，将错就错，暂时相安，并于津浦、京汉两线分路同时北伐，直捣燕京，内部问题，再缓图解决。
我的一席话，说得朱培德颇为所动，我便请他转告汉方中央各同志，切勿河汉斯言，自贻伊戚。说完，我便辞别回船，驶返芜湖。朱氏也去武汉报告，卒使宁汉暂缓冲突，分途北进。事实上，宁汉双方也各为利害形势所迫使然，并非全靠我这和事佬之力。
三我于5月14日返抵芜湖，乃乘轮穿巢湖往合肥前线督师。在我去湖口期间，我军第二、三两纵队已于5月13日大破直鲁军于柘皋，斩获极丰。我于15日抵合肥时，敌我正相持于合肥东北梁园一带。是日夜间，敌人新得蚌埠方面开来援军，由马济亲自指挥，夜袭我军。来势如疾风暴雨，猛不可当。我军驻梁园部队以为敌军新败，无力反攻，全军解甲而卧，初未防备。骤遭袭击，将士均于睡梦中惊醒。所幸我军征战有年，临阵沉着，未被冲乱。将士就地据守，十分稳定。敌军在主帅马济亲自指挥之下，拼全力冲杀，已冲入梁园镇上，与我军巷战彻夜未停。黎明之后，我方看透敌军虚实所在，乃展开两翼，向敌阵包抄过去。敌军猛扑一夜无功，至是士气已沮，我军一旦反击，敌人遂全线溃乱，一经跟踪追击，遂溃不成军。马济复调集白俄骑兵千余人，向我左侧翼反扑。此批俄兵在北战场中声威素著，因俄兵人高马大，当之者每为其气势所慑，而望风披靡。此次俄军指挥官仍施展故技，列队向我冲来。我军将士均不发枪，候其行近，则枪炮并施，全军迎头逆袭。俄军遂掉转马头，夺路而逃，与北军数万人张皇逃窜，互相践踏，伏尸遍野。主帅马济也落荒而走，在肥北高粱田中，为当地红枪会用梭镖所伤，不治而死。
据说，马氏此次在梁园督战，是抱定孤注一掷的决心而来的。他在蚌埠曾向张宗昌建议说，这次犯皖的革命军的主力系广西部队。广西部队概长于运动战，唯求速战速决，利于进攻，疏于防守，一旦战罢，则解甲高卧，防备极疏。马说：“我知道他们就是程咬金的三板斧。三斧头砍过之后气就松了。这次我们决定于夜间进袭，攻其无备，包管可以一举而聚歼之。”
张宗昌很看重马济，因为马氏是多年宿将，又是广西人，我军上下多半曾任其部属。马氏既如此建议，张宗昌遂挑选直鲁军精锐，交马氏亲自指挥，南下增援。渠探得我军在梁园宿营，遂乘夜拼全力猛扑。谁知我军的沉着，大出其意料之外。马氏未能撼动我军丝毫，反而自食其果，一败涂地。
梁园大捷后，我军尾追不舍，5月20日遂克明光、临淮关和凤阳。22日克津浦线上的重镇蚌埠。斯时我军第一、二两路也在何、白二人指挥之下，与我呼应，齐头向陇海线推进。
在全军北进时，我本人则在合肥小住，以整饬第三路直辖的新编各军。先是，我军驻扎芜湖时，因广西后方汇款未到，饷粮不继。我曾召集芜湖商界，筹借军饷十余万元。驻军筹饷，为我国近代的通例，驻地绅商也认为是一项正规的负担，不以为异。如数目不大，绅商都乐为之助，初无怨言。到我军渡江北上时，适后方军汇到达。我遂召集原来绅商辞行，并将前借的款如数奉还，未少毫厘。这种举动，在当时商民眼中简直是奇事。因自清末以来，驻军借饷，如数归还的，这还是头一次。
可是合肥的情形便不同了。因原驻此地的第三十三军、第二十七军、第十军等，多系北军收编，加入革命为时甚暂，战斗力既差，扰民尤甚。士兵占住民房，强买强卖，拉夫借饷等事，时有所闻，绅民啧有烦言。我抵合肥时，全城绅商代表道左相迎。尤以绅士季雨农曾助马祥斌守城月余，不辞劳瘁，深堪嘉许。他们对我都很爱戴，我对他们也很尊重，彼此相处无间，他们遂得尽所欲言。因此，我对驻军扰民情形洞悉无遗。遂于合肥召集军事会议，面告柏文蔚、王天培、王普等军长，务必严申军纪。
柏军长是皖省耆宿，辛亥革命时曾任安徽都督，是一位革命老前辈。他向我诉苦说，他的第三十三军全是北军和地方军临时收编的，军纪极坏。我告诉他说，你必须痛加整顿，否则我便将一切不法的军队缴械、遣散。柏氏唯唯。王天培、王普、叶开鑫、马祥斌都表示绝对服从总指挥的命令。会后，我便通令全军，并张贴布告，整饬军纪，有违令扰民者，军法从事。三令五申之后，果然全军肃然，一反故态，卒能令行禁止，秋毫无犯。足见天下无不可治的军，只是事在人为，以及主帅是否能以身作则而已。
合肥小住之后，我即随军北进。6月2日徐州克复，遂移总指挥部于徐州。此时我友军第一、二两路也北进到陇海路会师。高级将领于6月上旬云集徐州，作进一步北伐的商讨。
当我军进抵陇海路时，武汉方面北伐军也同时抵达该线。先是，武汉军在唐生智、张发奎二人指挥之下，曾与奉军激战于京汉路。斯时，冯玉祥的西北国民军也已出潼关，攻占洛阳，威胁敌军的侧背。奉军不敢恋战，于6月1日自郑州北撤。武汉军遂占领陇海路中段，进驻郑州、开封，与徐州我军遥相呼应。