然而整场战役的情况远远没有杨广想得那样顺遂。
到了傍晚，段文振还是没有到达汇合地，杨广开始担心起来。他就怕西进的段文振遇上溃逃的突厥大军，到时候以段文振的力量很难击败对方庞大的兵力。
为了迅速找到段文振所部，杨广命令黄明远、赵才、独孤恽三人各率一部骑兵向东北方向寻找段文振。当然若是同时也能找到突厥军的主力就更好了。
黄明远得令之后，立刻调集一千五百本部骑兵出营。考虑到磴口在温池的正东北，若是段文振遇敌则会往南，所以黄明远便往东方略偏北的方向而去。
这时候众人还不知道的是，这时候的段文振早就陷入了大麻烦中。
当日，段文振领三万精锐出灵州后，沿着黄河向北一路到达磴口。当时为了保证粮草的转运，隋军便在石咀山和磴口各设置了一个粮草基地。其中磴口粮站是杨广为了北上追击突厥人所设，囤积了约二十万石粮草。虽然在黄河东岸，但有些过于突出靠前了。
为了绕道磴口，段文振所部位置过于向北。等到度过黄河后，段文振向西北而去。准备大迂回至狼山西南的突厥大军的后方，再掉头向南，直击突厥军背部。
可行了不到百里，段文振所部就遇到了一样向磴口方向进军的突厥大军。原来早在大战之前，步迦可汗就命令自己的侄子阿史那里都沿黄河进军，奇袭灵州石咀山，断绝隋军的后路。
正巧双方在纳林湖西面三十里处相遇。本来双方都是要绕道突袭对方的，没想到撞个正着。这时候，双方都措不及防，只得开战。
隋军和突厥人兵力相当，又没有时间布置防御，只得压住阵脚，稳守大阵，立刻就落在了下风。靠着隋军的强弓硬弩与环形车阵，勉强可以抵挡得住突厥骑兵，但同时也限制住了隋军的机动性。
段文振两次组织突围，但都被阿史那里都挡住。
为了迅速围歼段文振所部，阿史那里都利用轻骑不断地冲击隋军的两翼，企图消耗隋军的士气。约到了傍晚时分，双方激战近四个时辰，突厥军见久攻不下，遂撤围而走。
段文振见突厥军北撤，不敢久留，一面继续监视对方，一面立即提所部向西南方向，准备避其锋芒。
没想到所行不过五六十里，正欲突厥军主力。
原来阿史那里都见隋军久攻不下，怕暴露了自己偷袭的目的，遂决定诈作退兵，引段文振突围。但段文振也不是等闲之辈，他一定会严密监视阿史那里都的部队。若是突厥军企图在半路围歼这股隋军，很可能又跟之前一样，咬上一个刺猬壳。
因为之前步迦可汗在两侧五十里左右的地方各布置了一支部队，好方便撤退。阿史那里都便秘密招其将阿里扎，准备使其提前在隋军突围路线上埋伏。自己则撤退一段距离后便尾随隋军，双方前后夹击。
急于脱身的段文振果然中计，刚脱离了险境，就一头扎入了突厥军的埋伏之中。
段文振毕竟是老将，一看对面出现近万骑兵，就知有警。这时又听斥候报后方突厥军队追来。
为了不被突厥军合围，段文振当机立断，即令其弟段文操率敢死队，挺矛策马，冲入阿里扎军阵中。自己则挥中军继进，往来冲杀，企图快速击破阿里扎军。
阿里扎也是突厥名将，虽然兵少，但知道阿史那里都正在赶来，便不与隋军浪战。只是紧守军阵，隋军但有转移，便咬住不放。隋军回身攻击，阿里扎又不与其决战。
双方相持大半夜，段文振始终没能甩开阿里扎。这时阿史那里都的大军也已经赶到，和阿里扎一起从后方两侧对段文振的大军发起猛烈攻击。
段文振所部大战了一天一夜，筋疲力竭，早就饥渴难耐，失了锐气。这时又遭打击，见突围无望，军心涣散，陷入崩溃。段文振这时候勉强维持大军编制，也不敢再妄想安然撤退。只能率领能战的骑兵加快速度，而落在后面的步兵则完全无能为力了。
硕大的残兵阵势阻挡了突厥军的追击，段文振也趁机率领着剩余的残兵慌不择路的狂奔。
阿里扎追击了隋军近一日，沿途斩杀隋军不计其数。眼看离温池已经不远，又收到从步迦可汗处退兵的消息。阿里扎知道主力在温池惨败，对面隋军的大部正等着自己，不敢再追，只得返回。
阿里扎的返回让他躲过了一劫，因为这个时候黄明远的搜寻队伍离段文振所部只有一二十里路了。
侥幸逃得性命的段文振遇到黄明远，这才算是平安。黄明远率部在沿途收拢隋军溃军，总共也只得三四千人。
段文振的大败令整个隋军大吃一惊，犹如一盆凉水一样泼到了众人火热的心头。全军三停折了两停，回到温池大营的段文振军不到一万三千人，还个个带伤，军械、物资几乎全部丢失，灵州军几乎被打残了，要想重建需要很长的时间。
对于整个战况，段文振倒也没有夸大其词。然而这种结果更令众人难以置信，没人会想到隋军与突厥人在兵力相差无几的情况下，还惨败至斯。
第一次有事情为这次大战蒙上了阴影，终于有人开始考虑突厥人的战力到底如何。
因为段文振是杨坚的爱将，更是杨坚重用之人。杨广没有直接将其问罪，而是将段文振撤职，然后令其在军中戴罪立功，算是给了段文振一个东山再起的机会。
这时候，因为突厥人的情况又出现了反复，元寿等人又劝杨广率军撤回灵州，等待突厥人消息，再做打算。
但隋军一胜一败，虽然打得步迦可汗很狼狈，但其实隋军也没占到便宜。杨广自问这样的结果是没办法回去和杨坚交代的。所以他坚持不撤军，决定要继续向前，搜寻突厥人的主力，一举击破对方。
杨广认为段文振的失败主要是在战斗中，隋军没有展开阵型，庞大的步军反而成了累赘。而自己军中骑兵充足，向北稳稳前进，根本不惧突厥人的突袭，也不会无法发挥步军的优势，因此杨广仍然对自己是信心十足。