“李氏当有天下”的谶言在第三次征辽后出现，表明了当时人民开始否定大隋的统治了，他们渴望新的统治者来结束杨隋的统治，不再是像大业七年那些造反的人一样只是单纯的想把杨广拉下。
自从杨广登基成为大隋皇帝后，大隋就开始营建新都洛、修长城、开运河、开驰道等大规模工程的同时军队肆意征战四方、开疆扩土，而他自己也是大规模的巡视天下，这一切的动作在短时间内给予大隋的低层老百姓难以想象的痛苦与灾难。于是早在大业六年的时候就有老百姓因为难易生存被逼造反，到了大业十年的第三次征辽结束后，虽然在大隋的境内起义的队伍还没有成一定的气候，杨广的军队也还能控制大隋的江山；但是起义的规模已经有了燎原之势，压抑太苦的民众这座火山已经到了全面爆发的边缘，一个处理不当就会让这个火山全面爆发，危及大隋的江山，然而坐不住的杨广一再一的驰骋天下引爆了这座火山，让有野心的大隋贵族看到了希望。

术士庾质字行脩，是大隋开国时有名的术士庾季才的儿子。早有志尚，八岁诵梁元帝《玄览》、《言志》等十赋，因父亲的缘故拜童子郎。他操履贞懿，立言忠鲠，每有灾异，必指事面陈。大业八年(602)，杨广要御驾亲伐辽东，征至临渝，向他问东征能否成功。他对答道：“伐之可克，不愿陛下亲行”。杨广听了脸色一变的说：“朕今总兵至此，岂可未见贼而自退！”庾质对答：“愿安驾住此，命将授规，事宜在速，缓必无功。”原来这庾质是希望杨广不要以帝王之尊出征辽东，听了之后就不高兴的杨广有点赌气的说道：“汝既难行，可住此也。”后来杨广兵败回来之后才知道庾质的劝谏是有一定的道理的，于是提拔他为太史令。大业九年。杨广复征高丽时，又问：“今段何如？”庾质对答犹执前见。自负的杨广火了：“我自行尚不能克，遣人岂有成功？”杨广于是继续亲自出征，等到了杨玄感造反，斛斯政投奔高丽，杨广想起庾质的话是才感到一种未知的恐惧，于是果断的撤兵回国。

第三次出征高丽回到京师长安还未呆上一个月，杨广即率百官往东都洛阳。术士庾质再一次进谏请杨广“宜镇抚关内，使百姓归农，三五年。令四海少丰，然后巡省”，依照当时的形势来说他的建议对大隋对杨广本人来说是最好的、也是最为适合的。当时天下贵族还没有大规模的参与叛乱，而且杨广对于天下还拥有很强大的威望。他的军队在镇压农民起义的叛乱中有着明显的成果。如果杨广能够呆在隋朝的立国之本的长安或者新都洛阳两三年的话，那么隋朝的历史和他自己的历史都将重写。然而杨广再一次的把这个有着绝对政治目光的大臣的话就像前几次一样放在一边，并不理会。

大业十一年（615）春正月初一元旦大朝会后，杨广于东都宫殿大宴招待公卿百僚四夷使节，设鱼龙漫延之乐，对突厥、新罗、靺鞨、毕大辞、诃咄、传越、乌那曷、波腊、吐火罗、俱虑建、忽论、靺鞨、诃多、沛汗、龟兹、疏勒、于阗、安国、曹国、何国、穆国、毕、衣密、失范延、伽折、契丹等国的使节颁赐各有差参。此时的杨广依然是四夷膜拜的“圣人可汗”。后世有人认为杨广三征高句丽惨败标志着以大隋王朝为中心的东亚国际秩序华夷朝贡体制彻底崩溃，而四夷使者并不是所谓的去朝贡的，是去看杨广的看热闹的。事实上，直到杨广死时大隋依旧是天下的中心,杨广依然拥有着强大的权威。

虽然天下四夷还是臣服在自己的脚下。但是高句丽并没有派朝贡使者来，已亡国的吐谷浑也趁机“复其故地，屡寇河右”。想想自己自从登基后日日夜夜的为国为天下的呕心沥血、兢兢业业却始终没有完成自己心中那千古的“大业”，杨广实在按捺不住悲痛的心情，在招待完万国使节后回到自己的宫里独自饮酒大醉，因赋诗曰：

“徒有归飞心，无复因风力”。

诗的字里行间透露着一种无奈与悲壮，醉酒的杨广仿佛要发泄自己心中的苦闷与压抑。就叫宫人吟唱自己的诗。而他自己听着听着就不禁泣下沾襟，侍御者更是莫不欷嘘！

杨广累了，杨广的心累了。于是在大业十一（615）年的五月18日驾临太原。避暑汾阳宫，他打算在这个他少年成长和他梦想最初的地方好好休息一下，他要重新收拾心情去面对自己的帝国。然而树欲静而风不止，“六月，突厥入岚城镇抄掠，遣范安贵讨击之，王师败绩，安贵死，百司震惧”，于是杨广为安抚东突厥冒险再次北巡。八月秋高气爽时，意图通过自己的巡视解决不太听话了的东突厥问题的杨广没有想到自己还没有像上次到达突厥境内时就被突厥的几十万骑兵围困在雁门郡。

围困杨广的是隋朝离强合弱政策下扶植起来的傀儡启民可汗的东突厥骑兵，但这个时候的东突厥可汗不再是那个一向听话的启民可汗染干了，而是他的儿子阿史那咄吉世，也就是后来操纵中原局势的始毕可汗。大业五年，被大隋一手扶植起来的启民可汗死去，接替他的就是始毕可汗。始毕可汗接手的东突厥在隋朝的庇护下经过十多年的休养生息，部众逐渐强盛，力量开始强大。始毕眼见杨广招抚存养众寡势穷的西突厥处罗可汗，心存疑虑，及见处罗被赐号易婆那，又娶公主，更使始毕忧虑不已。始毕深知隋离强合弱的惯技，杨广也确有助处罗可汗“复其故地”的考虑，只是因为征讨高句丽，未逞顾及。现在始毕势强，处罗可汗势弱，即东突厥势强西突厥势弱。但处罗可汗在杨广身边，早晚都将是始毕可汗的祸害，不得不加以防备。

隋朝一开始扶持东突厥是为了对付西突厥，或者说是为了使得突厥不是一个强大统一突厥，所以在突厥内斗的时候，隋朝扶持势落的启民可汗。但是到了大业五年（609）的时候，杨广西巡，召处罗可汗会于大斗拔谷，处罗可汗自持为西突厥大可汗不愿听从隋朝征召托故不至。杨广大怒，用裴矩计，诱使西突厥西面的射匮可汗（达头可汗孙）发兵袭击处罗可汗。处罗大败，逃至高昌境内。杨广遣处罗可汗的母亲向氏前往说服其入朝。这年十二月，见识了隋强大的处罗至隋京朝觐并留在杨广身边，成为杨广身边的高级侍从，直到杨广被杀。第二年正月，杨广分处罗可汗内附部众为三部分：其弟阙度设率领老弱万余人，至会宁（治所在今甘肃省永登东南）居住；特勤阿史那大奈领余众居楼烦（治所在今山西省静乐县）；封处罗为曷萨那可汗，领五百骑常从皇帝巡幸。西突厥被杨广征服分化已不成势，逐渐强大的东突厥就相对成为了隋朝北方的隐患。

杨广和裴矩君臣为了抑制东突厥的崛起，不久就实施了扶植西突厥处罗可汗、削弱离间始毕的政策。早在大业九年（613年）平定贵族杨玄感叛乱之后，杨广就命裴矩安辑陇右。裴矩来到会宁(今甘肃永登县)，存问西突厥部落，命令阙度设率本部骑兵进讨死灰复燃的吐谷浑王伏允，阙度设“频有虏获，部落致富”；裴矩回朝奏告，杨广“大赏之”。后裴矩随驾参加第三次征辽，被特诏“护北蕃军事”，即专门监视东突厥始毕动向。