当年在汤阴县学艺的时候，时迁告诉岳飞两军交战时情报的重要性，所以悉心教导董先所有相关的知识与技艺
岳家军具备雏型之后，岳飞便成立踏白军，专职负责潜伏观察、刺探敌情、跟踪刺杀、蒐集情报以及传送消息等任务、由董先担任统制
这次岳飞便根据踏白军的报告，发现曹成一直在移动，于是率部跟踪去追击；绍兴二年的闰四月初，双方一前一后已经到达岭南的贺州。
当曹成探知岳飞的军队即将要追到之时，抢先控制了贺州境内的险要之地莫邪关。闰四月初六日，岳飞派遣前军统制张宪去攻打关口。军士郭进和旗头二人领先登上墙头，并且杀死贼军的一名旗头，贼军阵势马上大为紊乱，宋军一齐赶了上来，贼眾纷纷逃散，官军遂得夺关而入。
带领宋军夺关而入的军官，是第五将韩顺夫。他不但好酒贪杯，而且喜欢与妇女狎戏。胜利进关之后，他脱掉身上的盔甲，解掉马上的鞍韉，让所掳妇人在旁作陪饮酒，正要大事享乐一番。不料埋伏在邻近的贼人杨再兴乘此机会，率眾直衝韩顺夫的兵营。宋军完全没有意料会在城内遭到敌人突袭，措手不及之下节节败退，关卡淂而復失。韩顺夫本人，则被杨再兴砍掉了一支胳臂，流血过多而死亡。
岳飞事后十分生气，因为他的部队一向以纪律严明而闻名。他认为韩顺夫违反军中规定，导致杀身之祸，只能说是咎由自取；韩顺夫的亲随兵和他一起胡作非为，同样是犯了军法，因而将他们一律处斩。他还下令给第五副将，要他必须活捉杨再兴，将功赎罪。
后来前军统制张宪和后军统制王经一同前来会师，重整军力与杨再兴在关前交战。这次官军数量占绝对优势，而杨再兴却力战不屈，不但未能把他捉获，岳飞的弟弟岳飜反而一个不小心，被杨再兴当阵杀死。与杨再兴对战过的人都称讚他真是一名悍将，难怪他的绰号叫做「万人敌」。
虽然拥有这么一位优秀的将领，贼眾的整体实力还是与岳家军有一段明显的差距；单在这次战役当中，就有上万的人死伤。
岳家军仍然没有任何松懈，马不停蹄继续追击；曹成和杨再兴等人在屡战屡败之后，只好率领馀眾流窜到贺州东北的桂岭县去。
岳飞的部队追了整整十天，才在桂岭县境赶上曹成与杨再兴率领的游寇；曹成在接战失利之后，又拔寨奔向连州。这时后军统制王经正好率领所部运粮到达，所以也加入追兵的行列。
杨再兴则向着静江军的方向逃窜，结果运气不好，首先被岳飞后军的骑兵部队追上；他眼看脱逃无望，便纵身跳下一道深涧。骑兵们惧怕他悍勇作困兽之斗，不愿下马涉险追捕，想想只能把他射死在这山涧中了。
当他们搭箭在弦，准备一起射出时，杨再兴想起岳飞曾经在对阵时劝降过自己，所以高声喊叫说：「我是一条好汉，你们先不要杀我，把我带去见岳飞吧。」
追兵答应了他的要求，杨再兴从深涧中跳了上来，任由追兵们绑了他去见岳飞。岳飞果然很讚赏他的勇武，一见面便亲自解开捆绑在他身上的绳索，不但不提过去交战中事，更不提起杀弟之仇，开口就向他说道：
「我知道你是一条好汉，而且是杨家将后人。我认识你父亲青面兽杨志，知道他是一个血性男儿，不忍他绝后，所以才在阵前招降，希望你弃暗投明，报効国家，创立一番功业，以慰扬志叔在天之灵。我最后问你一句，你可愿意从此改过，像你先祖一样心存忠义，报答国家吗？」
杨再兴才知道两个人之间还有这一层渊源，所以刻意留他性命；让他感激莫名，满口答应。从此以后，他便成了岳飞部队中的一员猛将，而且非常忠心勇敢。
其实当年吴用、公孙胜等七人计劫生辰纲，那负责押运的军官正好就是杨志，成了苦主：所以后来吴用与宋江前往双龙山，要去邀请他上梁山入伙时，他始终坚持不肯。后来吴用只好使用苦肉计，以利刃刺进自己心脏谢罪，其实他早知自己心脏比旁人偏移数寸才可以侥倖不死，最后逼得杨志不得不答应上山入伙。
虽说吴用学过医，但是他也没打开过自己的胸膛测量过，在一群杀人高手面前，要拿捏得那么精准也要靠一点运气才能成功。
吴用心想，若要认真计较，自己欠杨志实在太多，所以当公孙胜告诉他杨再兴的身世之后，他便准备帮他留住最后一条血脉，因此岳飞早就通告全军不能伤害杨再兴的生命，只能活捉。
也就因为如此，他的弟弟才会死在杨再兴手上。岳飞心中虽然难过，却只能安慰自己，就算是还杨志一点点公道吧。
岳飞下令给前军统制张宪，命他率眾紧追逃向连州的曹成。曹成无计可施，又转向湖南的郴州，郴州的知州赵不群凭藉城墙坚固力守，曹成攻打不下，又奔往邵州。
这时，担任福建、江西、荆湖宣抚使的韩世忠，在福建把范汝为领导的农民起义镇压成功，全军班师回到永嘉；表面上说要在那里休整一段时间，暗地里却经由处州、信州，迅速到达洪州赣江之滨，连营数十里。
韩世忠这支人马，不但人数眾多，而且以战斗力强大着称。想不到突然开拔到此处，让江西以至湖南境内的游寇们大为震惊。韩世忠知道曹成屡次为岳飞所败，正在邵州困坐愁城，就充分利用自己部队最近造成的这种强大的威慑作用，派人前往邵州对曹成进行招安。曹成在走投无路的情况下，终于在绍兴二年闰四月接受了韩世忠的招安。
曹成的部下有一人名叫郝政，却不肯随同曹成一起归顺。他率领一部分人马从邵州西向流窜到沅州。这伙人都在头上绑上一条白手巾，自号白头兵，他们宣称一定要为死去的兄弟们报仇，与官军抵抗到底。但当他们到达沅州境内时，张宪也很快追来，兵败之后，他们最后还是归附了张宪。
绍兴二年六月初，李宏率领兵马攻打潭州，把盘踞在那里的马友杀死。不久，韩世忠派遣部将率军进入潭州，把李宏扣押起来，后来韩世忠任命他为统制。
这年七月下旬，韩世忠进军岳州，去征讨以白面山为根据地的游寇刘忠。韩世忠先把刘忠军的营垒布署情形探察明白之后，派遣敢死队趁着黑夜悄悄潜进去埋伏在山上，次晨他亲率先锋与前军一起前进。交战之后，埋伏在山上的敢死队迅速跑上刘忠中军的瞭望楼，竖起官军的旗帜。游寇们看到以为已经战败，一时惊慌失措，大败而逃。
刘忠这支游寇盘踞在岳州境内已达三年之久，这时终于全部向着淮西地区逃去。
解决刘忠之后，流窜在湖南地区的游寇，基本上算全部都被讨平了。
岳飞在率部追杀曹成及其残兵的途中，经过茶陵时遇到驻屯在那里的枢密院将领韩京；行经郴州时又碰到驻屯在那里的湖南帅司统制官吴锡。韩京和吴锡原来也都是游寇，后来接受了南宋政府的招安，两人都将旗下精锐部队加入岳家军。他们的部队被岳飞合併之后，在这次征讨曹成的过程中也都起了一些作用。
绍兴二年的六月上旬，朝廷下令给广西经略司，要他们把新买到的战马三百匹分拨给岳飞的部队。
朝廷获报知道曹成所率游寇已被岳飞和韩世忠部队平定之后，在绍兴二年六月便下令给岳飞，要他率领全部人马，包括不久前收编的韩京、吴锡两部人马在内，即刻开往江州去戍守。
岳飞的军职虽然仍是神武副军都统制，但他的虚衔，则由原来的亲卫大夫、建州观察使提升为中卫大夫、武安军承宣使了。
当韩世忠扑灭了福建地区范汝为那支起义军的时候，高宗曾派人送给他金蕉酒器一份以慰劳他的功勋。绍兴三年二月，高宗又把同样的一份礼品，派人送给了在江州的岳飞。