李成闻讯大怒，吩咐马进留守江州，亲自领兵出战。他派遣部将商元，在洪州奉新县楼子庄的草山依据山险设置伏兵。这个布置被岳飞的踏白军事先侦察得知，岳飞的前军经由小路衝上山顶，将伏兵解决，反而获得险隘之处的主控权，完全破坏了李成的布署。这一役使张俊得到了「张铁山」的外号，其实这完全是託岳飞的福。
楼子庄战役之后，李成的精锐主力折损太多，再无还手之力。于是张俊和岳飞兵分两路，张俊往东北方向收復江州，岳飞往西北方向追击李成。李成逃到洪州武寧县，不巧碰到修水的水位暴升，贼眾还来不及渡河，岳家军已如神兵天降，只得四散奔逃，溃不成军。
李成不敢在江南逗留，从独木匆忙渡过长江退到淮西路的蘄州。岳飞从武寧县率兵继续东进，到江州与张俊会师。至三月末，江南已没有李成匪寇的踪迹了。
张俊大军却因为缺乏军粮，在江州耽误了四十多天，等军粮到了才渡过长江持续讨伐李成。李成在淮西还拥有都统领胡选所部，号称十馀万人，企图进行最后的垂死挣扎。
宋军直抵蘄州黄梅县，李成贼眾在石幢坡占守山险，准备了大量檑木滚石用以阻击宋军前进。最后张俊大军进行强攻，大破贼军，并且杀死马进、孙建等将领。李成势穷力尽，只好逃奔刘豫的偽齐。
张俊大军乘胜收復被李成占领的淮西各州县，并在舒州太湖县捕获李成的谋士李雱。
张用脱离杜充之后，与马皋、王善等人不合；最后与曹成率领大批人马，流窜淮北各地，然后盘据了淮西的寿春、舒城一带地方。
建炎四年秋，张用带着最亲信的部下一、二千人，脱离了曹成等人所率领的大部队游寇，独自跑到汉阳军去。在汉阳又掳捉了许多强壮的兵丁，以扩充自己的队伍，并且接受了鄂州路安抚使李允文的招安，驻扎在鄂州城中。
绍兴元年春，朝廷对李成进行征讨之前，曾下令张用去援救被包围的江州，张用没有听从。后来因为李允文密谋消灭张用，虽然最后没有成功，但是曹成也移军到汉阳，一再相逼，张用只好又把部队移到咸寧县去。表面上他虽然与李允文互为声援，私底下却仍然与曹成等所率游寇藕断丝连。总之他就是不肯完全听从朝廷的指挥和号令。
绍兴元年六月，讨伐李成的工作大致完成之后，张俊的大军已经压在鄂州境上；这时另有一支游寇孔彦舟，因在潭州被马友屡次打败，所以向北流窜到汉阳；这么一来，在鄂州的李允文腹背受敌。张俊便把握住时机，夺取了李允文的军权。
当张俊的大军进入鄂州境时，马上让张用感到极大压力，只得离开咸寧渡江南下，移屯江西的分寧县冷家庄。曹成也率部跟随而来，驻屯在与冷家庄相距三十多里的吴仙镇。在张俊设计收夺李允文兵权的同时，也派遣岳飞到分寧去招降张用。
岳飞不但是张用的师兄，两人在东京附近还不只交手过一次，对于岳飞个人的武艺，以及他专门以少胜多的神奇战绩，张用应当是再清楚不过了。岳飞目前的地位以及部队的实力已经大非昔比，现在朝廷又派他带领人马前来施加压力，进行招安，张用当然必须慎重加以考虑。
当天晚上，张用下令给驻屯在附近的游寇，次日一律要往吴仙镇集合，并且告诉他们可能要对岳飞的部队进行抗拒。
第二天，游冦诸军果真匯集到吴仙镇时，张用却带领自己的五万人马，在冷家庄军营中接受了张俊的招安。
八月八日，张俊在瑞昌县的丁家洲检阅张用的人马。张用被留在张俊军中担任统制。他所带的兵眾五万，强壮者都留在张俊军中，老弱者一律解散，任其自寻生路。这些所谓老弱者最后大都分别投入岳飞、韩世忠或曹成军中。