陈玉成说：“那就移兵苏杭吧。我部可虚援安徽，牵制上游湘军，不让他们东下。”李秀成决定在芜湖会齐谭绍光、陈坤书，然后星夜东进，奇袭苏杭。
洪仁说：“这就周全了，若没有异议，就呈报天王。”陈玉成、李秀成十分赞成。
1860年二月二十四日，李秀成率轻骑快速攻下广德州，留下陈坤书、陈炳文驻守，自率谭绍光、陆顺德、吴定彩几只大军突入浙江。二十七日攻取泗安镇、虹星桥。二十九日与李世贤合兵，占安吉县，又攻下长兴县。尔后，李秀成率精兵八千，奇袭浙江首府杭州。
这下把浙江巡抚罗遵殿吓坏了，急调各路兵马来守城。兵力有限，除衢州镇总兵李定太的两千兵，杭州将军瑞昌只能拼凑五百人上城防守，这五百兵对太平军早已是闻风丧胆了，哪堪一击？
三月十日，谭绍光率一千余名先锋军赶到杭州西北之良渚，士兵一律着清兵号衣，冒充来援的提督郑魁士的兵，就快要成功时，为杭州守军识破，故而没能马上攻下杭州。随后李秀成赶到，猛攻武林门、钱塘门。至二十九日，清波门被轰开，李秀成率部一举攻入杭州。巡抚罗遵殿、布政使督粮道王友瑞等高官全部自尽。
