就在曾纪泽在上海推行洋务,并与李秀成部太平军激战之时,湘军亦同时发起了声势浩大的东征。继剿灭陈玉成部,扫清皖北战场之后,湘军曾国荃部、多隆阿部、鲍超部、杨岳斌(因避同治帝讳改名)部水师,沿江东下,先后在西梁山、金柱关、芜湖等金陵上游险关要地与太平军展开激战。至5月下旬,曾国荃部进抵天京城下,屯兵于雨花台,其进军之速度之快,实令人惊奇。1862年5月底,湘军水陆全军悉数从上游顺江而下,先后抵达天京城外,曾国藩对各部进行了周密的部署:曾国荃陆师18营共9000人的兵力,加上少数亲兵,屯扎于天京南面雨花台一隅;彭玉麟统帅水师18营协助,兵力约9000人,8营深入天京护城河口,卫护粮道,保证水路交通接济;同时,曾贞干10营5000人兵力驻守三汊河,江东桥一带,傍水筑垒,以保以路之粮道。经过这样的部署,曾国荃凭借与安庆曾国藩大营联系畅通无阻的后备优势,开始了围攻天京的军事行动。然而,原本曾国藩制定了四路合围天京的作战计划,但期间多隆阿奉命入陕、鲍超在宁国一带与杨辅清部激难分胜负,冯子材部只防守镇江。各部人马均为太平军的激烈抵抗所阻,未能如期进抵天京,这就使得曾国荃部成为了深入天京城下的一支孤军。在天京会战的最初,形势一度对太平天国有利。在这种情况下,曾国藩一面调集路人马增援天京,一面向朝廷求援。但各部为皖南太平军所阻,远水难解近火,而朝廷实在无法解决,力陈无兵可拨之苦,着令曾国藩自为筹计,自行调拨。无计可施之下,曾国藩只有一方面调拨军火粮饷、源源不断的供向曾国荃军,一方面又为曾国藩制定了修建防御工事,挖筑深沟高垒的自立之道。曾国荃不遵曾国藩稳扎稳打的战略方针,一意专行,孤军深入,此时方意识到形势的严峻性,遂不敢再轻举妄动,利用6、7月间太平军援军未到的时间,日夜构筑防御工事,与天京太平军守军径相抗衡,执行结垒自保、等待战机的既定方针。天京城外突然出现的湘军是洪秀全所意想不到的,在惊骇之余,他下诏急令苏沪李秀成大军火速回救天京。李秀成的最初方针是从苏州调运大量军火粮食,并抽调一部分军队,支援天京,增强天京的军事本备防御能力,两年之后,湘军围久必惰,无战斗之心,再与其战,一举可解围。然而,洪秀全的战略意图是尽快集中兵力,迅速击溃湘军,解除首都的直接威胁。因此,在李秀成招集各王于苏州开会期间,洪秀全派差官捧诏而至,严旨切责,催逼李秀成起程。诏逼如此,李秀成不得不行,遂重新制定了三路进援天京的大计,抽调各处将士,择日起程,大举援京。苏杭等处的军政事务,交付慕王谭绍光、听王陈炳文等分负责任。面对李秀成的大举回援,曾国荃即将面对着更加严峻的压力,曾国荃为牵制苏沪方面的太平军回援,责令曾纪泽的淮军从速进攻苏州,以减轻曾国荃方面的压力。攻取苏州本来就是曾纪泽的既定方针,但他同样不想拿自己的淮军与李秀成精锐火并,故一直以准备为妥为由迟迟不肯发兵。在此期间,曾纪泽从容的开办了上海武器制造局。当时间进入九月,曾纪泽侦知李秀成已率苏州战场太平军主力西援天京之时,立刻下令严阵以待的淮军各团向苏州发起进攻。北路刘铭传部,率先向重镇江阴发起进攻。太平军景在江阴构筑坚固城防体系,于东门外立营3座,南门外扎营2座,北外门一座,并在离西门10里的地方设有营垒,城内由广王、薰王扰据守。淮军对这次的进攻作了充分的准备,根据战前的军事会议确定方针,刘铭传团由杨库至右牌,翌日进扎黄山港,吴长庆团进扎离江阴10里的长山。江阴守军先是出攻黄山,被刘铭传部的炮火击退。是夜,太平军再袭淮军营垒,刘铭传从容指挥三营人马数路反击,太平军又大败。同时,淮扬水师黄翼升派炮舰三艘、舰板三十艘驶进黄田港,太平军见淮军水师逼近城根,出城迎拒。淮扬水师以舰炮排炮猛轰,击毁太平军十余条船。但是,太平军陆师突然从两岸扬来,来势凶猛,黄翼升便命水师登右岸迎击。太平军主动撤退,诱淮军进至河港窄处,左岸太平军用洋枪隔港射击,淮扬水师伤亡颇重,将领龙成北亦受枪伤,于傍晚死亡。淮扬水师虽败,但刘铭传、吴长庆团却于黄山、东门外分别击败太平军。两团人马迅速挺进,连续摧毁江阴外围太平军营垒,9月10,淮军两团七千人马直抵江阴城下,围城强攻。江阴北门。刘铭传、吴长庆二人商议之后,两团会集于北门,集中三十余门野战炮,猛轰北门,企图从此处突破。刘铭传持刀立于江阴城下,指着北门城楼吼道:“给老子狠狠的轰,轰中城楼一炮,赏银一两!”操炮长唐小文一听有赏,眼睛里仿佛有白花花的银子在闪,他一把将跟前的操炮手推开,“滚开,让老子来!”他袒下半边膀子,用牙咬紧了辫子,眯着眼调整着炮口的,接着点燃了引线。砰!轰——一发炮弹正中北门城楼,将那木制房屋轰塌大半,有不少太平军当场被压死在倒塌的石木之下。“打得好!”刘铭传兴奋不已,冲着唐小文拍手叫好,他瞄了一眼城楼,向唐小文叫道:“小子,瞧见左面的城垛子没,已经开了好多裂,你要是能给老子把它给轰塌了,老子不但赏你银子,还提拔你当炮连连长。”曾纪泽为了加强淮军各团的火力强度,除直属炮营之外,每团还别编了一个炮连。刘铭传这团炮连刚刚组建不久,还未及设有连长,炮连暂归一营长统领。唐小文一听,兴奋得血涌满面,一把将那半连衣袖也扯了下来,整个人都光着上半身,“大人你就瞧好吧。”唐小文再点一炮,只听一声巨响之后,北门左侧城垛轰然倒塌,几十名太平军从崩塌处坠下,立时被填埋在了碎石之中。“好小子,你这一炮打得他娘的太好了。”刘铭传见敌城已破,便要召呼部下从塌裂处攻入江阴城。正这时,吴长庆急奔而来,口中叫道:“省三兄,有一千多发匪从西门冲出,正朝咱们这边杀来,咱们暂撤一下吧。”与此同时,有探马来报,太平军护王陈坤书正率骑兵从东南方扑来,区王从西南包抄了后路,齐王从中路进击。一时间,太平军对两团淮军形成了四门合围,水泄不通的态势。