杜微看到己方陷入被动中，继续再打下去很可能会全军覆没，赶忙找到正在厮杀的方杰，说道：“方将军，对方的人数比我们多，而且又以骑兵为主，这么打下去我们很吃亏，不如先撤回青溪县，跟陛下会合重新整顿兵马，再与宋军决一死战。”
方杰也发现形式不对，随即也没有再犹豫，立刻带着人往清溪县方向撤了下去。
“追！”
华榉率领着众将和骑兵一路追赶，由于他们是以骑兵为主，速度远比方杰手下那些徒步跑的士兵要快得多，很快就被追上。
不过，这个时候华榉他们要追方杰，没有时间去抓俘虏，所以只要被赶上的士兵，几乎都被骑兵斩杀，尸体从半路一直延续到清溪县境外。
方杰、杜微逃回清溪县内，正好与随后赶来的方腊大军碰上，两人急忙上前与方腊相见。
方腊骑在他的逍遥马上，身后“百官”随行，见们神情狼狈，急忙问道：“皇侄，出什么事情了？”
方杰赶紧从马上下来跪在他的马前，叩头道：“臣无能，与宋军交战败退下来，请陛下惩罚。”
方腊听到这话顿时心头火起，因为他这里才刚刚御驾亲征，结果被他寄予厚望的皇侄方杰就吃了败仗，这简直就是在触他的霉头。