开弓没有回头箭，当李渊诛杀王威、高君雅之后，他便没了后路，只能造反了。而黄明远也不担心事情会有反复，便开始了对李渊的布置。
黄明远在河东有许多旧部。
这是黄明远迅速解决河东问题的底气。这些人遍布河东各郡县，文武皆有，很多人都已经在当地经营了十多年。
李渊虽然有世家大族相助，但自汉王杨谅之乱开始，河东被清理了多次，关陇世家在河东的实力早就十不存一了。
这也是之前李渊一直不敢动手的原因。关陇世家光喊口号，但你来点实际的啊。
黄明远传信河东诸将，命众人各自坚守城池，等待主力东进。
河北主力七卫，左武卫在信都郡，右屯卫在恒山郡，龙骧卫在武阳郡，控鹤卫在东昌郡，虎威卫在上谷郡，鹰扬卫、豹韬卫在魏郡。七卫主要集中在太行山以东和黄河北岸。
此时西进的飞狐径、井陉关、苇泽关、滏口尽控制河北军的手中。
河东东南，长平郡和上党郡，二郡太守分别是严孝武和段偃师。黄明远传令严孝武总领二郡兵马，段偃师总揽二郡政务，防备晋阳之兵，又命黄明溥率领豹韬卫从滏口西进，进驻长平关。
而命张文远率领右屯卫军从恒山郡向西，进驻井陉关。
至于北面马邑郡，则更是简单，黄明远从没有将没有获得突厥支持的刘武周放在眼里。范文林、李子仁分屯恒安镇、雁门关，南北挟制马邑郡，再命刘云芳率领虎威卫从上谷郡西进，先平定刘武周部，再南下太原郡。
三卫兵马，再加上当地的军队，加起来有十多万，从三面包围太原郡。若是李渊放弃太原，选择南下，这还有一线生机。若是李渊死守太原，则晋阳就是他葬身之地。
其实黄明远并不想在晋阳与李渊死战，而是希望驱赶着李渊南下，趁机席卷河东，进入关中。
所以三路大军，中路、南路二军不动，北路先向马邑郡率先发起了攻击。
刘武周的造反很坑，至少在这个时代很坑。历史上他的崛起是因为背靠突厥，获得了突厥的支持，郡内还有原边军精锐，所以才能趁机兴盛。
但黄明远杀了始毕可汗，突厥现在陷入内乱，自顾不暇。而原朔州精锐边军，尽被黄明远调到了安北都护府和恒安镇，马邑郡本身并没有多少。虽然北地男丁悍勇，刘武周自领太守之后，也开仓放粮，招募了大批的壮丁，有着上万人马，但仍旧不能与隋军相比。
刘武周知道马邑穷困，若是困守马邑，必然落败，必须打出去，攻略富庶的太原诸郡。于是他率兵南下，准备进攻汾阳宫。汾阳宫物资充沛，占领这里，才能有南下河东的可能。
楼烦郡都尉韩元建得知刘武周造反之后，便率部北上楼烦关，阻止对方南下。
楼烦等关在经过去年突厥人南下之后，都进行了修缮。刘武周本来打着突袭的主意，手中兵力不足，因此双方相持，刘武周便难以前进。
差不到相持半个多月，屯驻雁门关的李子仁率部占领桑干镇，威胁善阳城。
刘武周得知大惊，只恐后路不保，立刻撤回马邑。
屯驻恒安镇的虎贲郎将范文林有兵八千，他在得到黄明远的命令之后，也率部六千南下至神武县，堵住了刘武周可能的北逃路线。
不过刘武周的造反终究引得代北人心动荡，企图浑水摸鱼的人仍是不在少数，雁门前郡丞杨长仁，雁门守令王确等，也暗自聚集人马，准备响应刘武周，不料走漏风声，被太守侯莫陈乂知晓。侯莫陈乂先下手为强，将杨长仁、王确及其家族、党羽全部捉拿处死，一时雁门举郡震惧，无敢反者。
十一月十五日，刘云芳率领虎威卫万余人先行赶到雁门关。
十七日，刘云芳指挥各军包围了善阳城。
隋军各部集合，约有两万余人，是刘武周所部的三倍之众。
此时蹦跶了一个多月的刘武周终于发现自己陷入了绝境之中。刘武周有野心，也有能力，但并无与隋军主力决战的底气。
刘武周虽然已经派人去联络突厥的新任可汗处罗可汗，但突厥人根本不敢前来。
刘武周面对城外重重隋军，急得是抓耳挠腮。他常在边关，自然知晓城外诸军的实力，而善阳城外无援兵，且今年马邑郡歉收，善阳城中的粮食连一个月都坚持不了，继续打下去，只有城破一个可能。
这时其妹夫苑君璋建议刘武周，善阳城已经不可守，可突围至突厥，再作计较。
刘武周也是犹豫，给胡人做狗，是那么容易的吗？而且突厥也是黄明远的手下败将，投奔突厥有用吗？
正当刘武周犹豫不决，其部将高满政突然打开城门，向城外隋军投降。高满政全家皆死于突厥之手，与突厥有血仇，如何愿意投降突厥。他便劝刘武周向隋军投降，凭这数千将士和一座善阳城，也能保得性命，但刘武周不愿意。
马邑困于兵祸，人心厌乱，高满政利用人心所向，投降了隋军。
此时城门打开，刘云芳遂指挥诸军入城。
刘武周在城中听闻此消息大惊，吓得魂飞魄散，连忙率领亲信突围。
而守卫城中的诸将寻相、张万岁等人皆投降了隋军。
刘武周带着黄子英、苑君璋等人不到千人一路向北，被范文林率军堵在了腊河谷（今山西省朔州市东北洪涛山南）。
刘武周进退不能，被隋军尽灭于此。
在历史上席卷整个河东，给李唐带来最多败仗的一代枭雄，就这么死在腊河谷。
讨平刘武周之后，黄明远便下令，析马邑郡、雁门郡北部，于恒安镇置云中郡，领云内、善无、高柳（今山西省阳高县）三县。
同时又设代北都督府，节制云中、雁门、马邑、楼烦四郡军事，辖兵两万两千人。
以范文林为代北都督兼领云中郡太守；
崔民干为马邑郡太守；
韩元建为楼烦郡太守；
而李子仁统兵五千人，随刘云芳南下。