杨玄感不管李密的感受，他要开始向洛阳进军了。
杨玄感再是少经战阵，但毕竟跟在杨素身边耳濡目染，又曾主政一方，也知晓他现在的境遇。若是手底下都是黄明远那种丰州铁骑，千里突袭，纵横驰奔，他什么不敢干，靠手底下这群没经历过战阵的部队和一群农夫，还千里突袭，走一百里不散伙就算他运气好，他突袭个屁。
目前的杨玄感还不是李密这种纸上谈兵的人可比的，当然李密天赋更高，通过这场叛乱军事技能很快升级，还侥幸没有死，最终成为一代枭雄，又是后话。
誓师之后，杨玄感几乎集中了全部主力往洛阳进发，至于黎阳，对他来说守不守都没有太大意义。攻不下洛阳，一切都是虚的。
将黎阳交给元务本留守之后，杨玄感率部从水路沿着永济渠进军。
同时杨玄感又令其弟杨玄挺率领本部兵马为偏师，直袭河内郡。杨玄挺率领三千人马，轻车简从，一路直逼河内郡治河内县城（今河南省沁阳市），然后被杨玄感任命的怀州（河内郡）刺史唐祎挡到了城下。
唐祎是杨玄感的好友，也是杨家旧臣，官居河内郡主簿，为押运粮草到的黎阳。杨玄感作乱，也叫上了这位昔日好友。唐祎虽然官职不高，但人却不傻，大家关系好归关系好，可他也不能拿着家族的命运去跟着杨玄感造反啊。
尤其是他怎么看都不觉得杨玄感能够成功。
这唐祎也是个聪明的，至少比游元看起来强的多。唐祎很清楚，如今他落在杨玄感手上，生死全不由己。他若是宁死不从，虽然可能得个重臣的名头，亦只不过途增杨玄感刀下的一条亡魂，但是活着，却能做更多。
唐祎出身不高，年轻时当过县吏，后来又在杨素军中做过小吏，是一路摸爬滚打才走到今天，因此他脑筋也更灵活，胆子也大，什么事都敢想敢干。唐祎决定假意归顺杨玄感，然后趁机逃脱，前往洛阳报信。若是能成功，他这辈子转运之机便指日可待了。
杨玄感把唐祎当兄弟，却不知道唐祎已经把他当做升迁路上的踏脚石了。杨玄感为兄弟两肋插刀，唐祎要插兄弟两刀。
唐祎假意归顺杨玄感之后，便积极献言献策，讨得杨玄感欢心。杨玄感此时也无人可用，眼看唐祎如此忠心，他遂任命唐祎为怀州刺史。
唐祎在一众造反人员中活跃的很，黎阳仓既下，他又自云对河内的情况很是熟悉，因此请命前往怀州，替杨玄感为先驱，攻下怀州，威胁洛阳。
杨玄感大喜，唐祎虽然官不大，但在河内郡为官多年，盘根错节，实力很强。他因此乃给唐祎一千人马，令其西进。
这一千人马，多是黎阳仓的守军出身。除了统帅是杨玄感的心腹，底下的将领不少都算不上杨玄感的人，只是上层官员尽数被杀之后，无奈被裹胁。
杨玄感虽然清理了军中上官政的心腹，但也来不及处置底下的校尉、队正等人。
众人大多并不愿意跟随杨玄感谋反，因此多有出工不出力的。唐祎久在基层，擅长拉拢人心，眼看不少校尉都心思各异，因此积极拉拢这些人，为其所用。
唐祎到了修武县（今河南焦作市修武县）之后，立刻准备反水。
他先是假意请杨玄感派来佐助他的将领吃酒，然后将其灌醉杀害。之后唐祎在军中其他几个不愿附逆的将领的帮助下，夺了全军，宣布反正。
然后唐祎便赶紧命人分别前往洛阳、长安送信。
杨广东征，便以次孙燕王杨倓和民部尚书樊子盖二人留守洛阳。而燕王杨倓年幼，年仅十岁，此时洛阳城内掌握实权的便是樊子盖。
唐祎知修武城兵备废弛，又无兵马，不可坚守，便又赶往了郡城河内城。
河内郡的官吏闻听杨玄感造反，吃了一惊，别说抵抗了，此时叛军还没有到，他们早就想望风而逃。
唐祎也知道这群人是什么德性，根本不指望对方能够守城。眼看城中官吏溃逃，他便联合好友城中鹰扬司马刘感，亲自带着人接管了河内城，然后布置人马，积极防御。
不得不说，唐祎给了杨玄感致命的一击。
如果唐祎没有反水，而是以河内献给杨玄感，杨玄感便可趁机从河阳渡河，直趋孟津，翻越邙山，出其不意地出现在洛阳城下。到时候谁胜谁负，还真是难以预料。
可惜，唐祎直接便让杨玄感的叛乱暴露在众人眼前。历史上如果杨玄感选择突袭关中，怕是会直接撞死在蒲坂城下。
杨玄挺的三千人马一直长驱直入，没有阻挡的到了河内城下，沿途县城皆是得到唐祎传令，尽紧闭城门。
杨玄挺顾不得这些县城，只望河内城而来。
他还不知道唐祎已经反水的消息，听说唐祎已经入城，他还以为这次无需战阵便可取胜。等他前来叫门之时，却见河内城城门紧闭，只有唐祎在城头上扯着嗓子的谩骂。
唐祎本来思索着将杨玄挺迎进河内城，然后趁机坑陷，但是后来觉得城内士兵士气低落，不知道有多少人想着附逆。怕是真等到对方入城，到时候是谁坑谁就不一定了，所以唐祎还是选了一个稳妥的办法，据城自守。
杨玄挺三千人马，远道而来，又没有携带什么攻城器具，怎么能攻破河内城。因此他虽对于唐祎的叛乱异常痛恨，却只得让人上前骂阵。
唐祎自知兵力不敌，拒不出战。
杨玄挺恨透了唐祎，便让人打造攻城梯，准备攻城。唐祎此时已做了充足的准备，只要对方一靠近，城头上便滚木礌石齐下，砸的叛军根本近不得城。
杨玄挺手中兵力不足，也没有多少弓弩手可用，至于其它攻城准备更是全无。他在河内城底下待了一日，不仅没能撼动城池，反而折损了上百人。
杨玄挺望着河内城，无计可施，又担心耽误了和兄长的会师，最后只得怏怏地绕道而走。