不过杨广的大业还没开始，自河东便传来一个惊天动地的消息。汉王杨谅以“清君侧，诛杨素”为由，在并州起兵造反了。
先时杨坚在仁寿宫病重，杨谅得到消息后，几次请求回京侍疾。当时杨坚也没想到自己病情后来会加重，他由于担心先是加封杨昭为皇太孙，再加上若让杨谅回京，会过度的刺激杨广，因此便拒绝了杨谅的请求。
但后来杨谅病重，再加上杨俨、柳述之乱，为了避免可能出现的动乱，杨广便招杨谅还朝。
这时的杨谅接到令后，还很是欣喜，一路疾驰南下，欲返回长安。不过杨谅也在长安有后手，等到杨谅到达蒲坂，竟传来杨坚病逝的消息。杨谅得信大惊，自觉若是就此返回长安怕是自身性命难保。因此在手下众人的怂恿之下，杨谅急忙率部返回并州。
杨广知道杨谅逃回并州的消息之后，只得哀叹时运不济，失去了解决河东问题的大好机会。因为中央政府没有准备妥当，杨广也不想过度刺激杨谅，因此佯装不知，乃命屈突通持隋文帝的玺书去晋阳（今太原市西南）征汉王杨谅入朝，参加杨坚的葬礼。
父亲死了，这次不管你有什么理由，总该回京了吧。
此时杨谅已经知道了隋文帝临终之前罢并州行台之事，又思虑自己与杨广父子的关系不睦，他若是就此回京，恐性命不保。
这时谋士裴文安献计可诈屈突通一番，看朝廷有无加害汉王之心。因此见到屈突通之后，杨谅乃说道：“当日孤离京之时，曾与先帝有言，先帝曾说‘如果有玺书召你，验看敕字加点，还与玉麟符相合，方可受命上路。’今日你持先帝诏书来并州，这诏书之中，为什么没有敕字加点？”
屈突通根本没听说话此事，大吃一惊，也不知此事是真是假，只能闪烁其词而不回答。杨谅乃怒斥屈突通朝廷作伪，天子死因必有蹊跷，因此拒绝接受这份旨意。
众人纷纷请求扣押屈突通，以对抗朝廷。杨谅知道屈突通虽然官职不高，但素来在朝中有贤名，无论处死还是扣押都没有意义，反而惹人诟病。因此杨谅也没有扣押他，而是将其放归回朝。
杨谅拒不接受杨广的诏书，算是和朝廷撕破了脸面。
事实上杨谅的谋反之举，并不是他心血来潮、脑袋一热的举动，而是早有准备。他自知与二兄杨广不和，因此在最初的时候，杨谅寄希望能够如杨广扳倒慜太子杨勇一般，合法继位。
但是自杨昭北伐得胜，又被封皇太孙之后，杨谅知道自己这条路是走不通了。杨广、杨昭父子二人实力强大，又如此得人心，哪怕杨广死了，也是杨昭继为储君，根本轮不到他。
至此杨谅便准备实行武力夺权。仰仗手中强大的实力，哪怕不能成为天子，也要割据一方，不再受杨广父子辖制。
杨谅作为杨坚和独孤皇后最小的一个孩子，从小备受宠爱，其身为并州总管，所辖之地为崤山以东到沧海，南至黄河，五十二州，相当于天下的四分之一。杨坚又特许杨谅在封地可以便宜行事，可以不拘泥于法律条文。
这使得杨谅便成为大河以北事实上的统治者。古往今来，整个中国历史上，都没有权利、实力如此庞大的藩王。
杨谅敢造反不是他夜郎自大，而是他真的有这份实力。大河以北地区，自古以来便是天下精兵的聚集地，当初的晋国主霸春秋，刘秀建立东汉都是起于此地。而北周灭北齐之后，河北地区作为北齐的统治核心，素来对关中政府不服从，自尉迟迥在相州叛乱开始，这种对抗一直延续到唐朝灭亡。
而杨谅本人因为权利巨大，身边围拢了一大批对关中政府不满的北齐遗老遗少，而这些庞大的政治资源和其掌握的中下层势力使得杨谅可以调动足够的力量与中央政府对抗。
而且杨谅拥兵数十万，自以为自己进足以抗衡中央，退则可自保山东
自慜太子杨勇被废，杨谅便心中警醒。再到蜀王杨秀获罪，杨谅极为不安，“照这样下去，下一块砧板上的鱼肉就非自己莫属了。”
并州总管的设置，主要目的便是防御突厥。因此杨谅上书天子道：“突厥正处于强盛时期，应该修整军备。”
为了对抗中央政府，在仁寿年间，杨谅大规模地征发工匠役夫，修造武器，招集亡命之徒，身边的私人门客将近数万。后来突厥败亡，他因为防御突厥征召的军队却并没有解散。
这些如果还只是实力的对比，而在政治和宣传上，杨谅也开始为叛乱做准备。
此时并州正流传着这么一首民谣，“一张纸，两张纸，客量小儿作天子。”这种民谣针对性太强，一般很少有人敢直接传播。但就是这么首毫无逻辑、毫无内含的民谣，却是在并州广为流传。
当这首童谣传到汉王杨谅的耳中时，它不知已在并州流传了多久。
杨谅身边的文武对此也议论纷纷，有人说它是一些心怀不轨之人想怂恿杨谅造反而刻意编造的；有人相信这是代表上天意志的谶语；更多人则表示对此毫不知情。至于真相如何，恐怕谁也说不清。
不过，汉王杨谅对此有自己独到的解释，他认为“孤幼字阿客，‘量’与‘谅’同音，而孤在皇家排行最小，此谶语合当该孤做皇帝”。杨谅对此童谣非常重视，并对照自己的名字进行了认真剖析，发现两者出奇吻合。由此，他更坚定了自己当皇帝的决心。
也不怪杨谅迷信，谶语这种东西，大多数时候总能自圆其说，因此背受时人追捧。这时候三国时期“代汉者，当涂高也”和北齐的“阿那亡汝国”等故事正是民间津津乐道的事情，杨谅如何不会对此重视。
这种谶语解法无数，但杨谅却是自认为找到了最合适的解法。
眼看万事俱备，只欠东风，杨谅本人也自认为自己再无后路，因此杨谅找到自己的心腹咨议参军王頍、兵曹参军事裴文安等人秘密商议起兵之事。