如果说李渊在以前只是有想法的话，那后来他到太原担任山西河东抚慰大使以及太原留守后则是明目张胆的开始实施自己的想法。当时的右勋卫长孙顺德、右勋侍刘弘基，为了逃避出征高丽，都亡命在太原，左亲卫窦琮也因犯法而逃到太原，这些犯罪的官员逃到李渊的地方躲避朝廷刑法，李渊也就暗中收留他们。这摆明了就是与朝廷过不去的举措，但是对已有谋反之心的李渊来说再正常不过了，俗话不是说“敌人的敌人就是朋友”吗。
在谋反之前，一贯老谋深算的李渊行事当然更是小心谨慎。史称李渊“素怀济世之略，有经纶天下之心”。大业十二年，杨广南巡，他看到中原空虚，认为反隋时机正在成熟，于是命长子李建成以照顾家属为名，“于河东潜结英俊”，以供己驱用，自己则坐镇太原“密远雄图”。大业十三年初又命次子李世民“于晋阳密招豪友”。一个“密”字，贵穿了李渊起事前的所有行动。

但纸里终是包不住火，李渊的“叛逆之心”还是被他的下属时任马邑郡丞的李靖觉察了，这个李靖就是后来有战神之称的唐朝名将李靖。李靖决定去告发李渊，但是当时李渊对太原一带的控制已经非常严密，于是李靖便伪装成囚徒坐上监车混出李渊的势力范围，前往江都，向驻跸在那里的杨广告变。但此时战事四起，中原的交通已被封锁，跑到了长安之后，李靖已无法前行，只好留在了京师。后来李渊起兵迅速占领了长安后，他也就被俘了，李渊对此还恨在心就下令把他斩杀，在临刑前他大叫：“公起义兵，本为天下除暴乱。不欲就大事，而以私怨斩壮士乎！”李世民又大力劝李渊放了他，最后李靖才免于一死，才有后来的战神李靖。

李渊有野心有想法，并在暗中做准备，但是他知道大隋帝国没有表面显得那么败落，如果他过早的出来反对杨广反对大隋，那么他就会像杨玄感一样瞬间被碾碎，最终身首异处。所以他一直蛰伏，等待大隋最弱的机会。当杨广再次南巡带走了绝大部分精锐部队。李密围攻东都洛阳进军中原的时候，他的儿子李世民、幕僚裴寂等人都纷纷劝他起兵，下属刘文静向李世民进言希望他能劝李渊造反他说：如今李密长期围攻洛阳，皇上流离迁徙淮南。跨州连郡的大“贼”与阻碍山泽的小‘盗’已有几万起了，只等待真主驾马驱驰去夺取。果真能够顺应天命人心，举起义旗大呼，则天下不难平定。现今太原郡逃避盗贼的百姓都来到此城之中，我任县令几年，知道哪些人是豪杰之士。一旦互相召呼着聚集起来，可以得到十万之众，令尊所领之兵又将近几万，君言出口。谁敢不从？乘虚入关，号令天下，不到半年，帝业可成。

但是李渊就是不表态，一直在拖，因为他还没有等到他要的机会。李渊的不表态急死一大帮跟他的手下了，弄得裴寂等人以为李渊是害怕造反，于是他们找来尼姑造了几句谶言在太原城内流传。意图给李渊打气同时做舆论准备。

李渊的副手。河东副讨捕史夏候端，据说善于占卜、会给人看相。他也跑去对李渊说：“今年以来，玉床不安。帝座不稳，一年之内，必有真人崛起，属下思来想去，非君而谁？”

几天之后，李渊的另一手下许世绪，也来凑热闹，他向李渊进言道：“公姓名应于图谶，据四战之地，举事则帝业可居，希公图之！”就是说李渊你是应验“李氏当有天下”的人，赶紧起兵吧。

不管儿子与下属怎么劝他，李渊都是坚持自己的等待，直到陇西的薛举造反了，李渊才知道自己不能再等了，该反了。

薛举，河东汾阴人，“容貌瑰伟，凶悍善射，骁武绝伦”。起初，为金城府校尉。当时，陇西群盗蜂起，饥民遍地，金城令郝瑗，招募饥民数千人，派薛举前往讨捕盗贼。薛举与其子薛仁杲及同谋十三人，劫持郝瑗，假称收捕反叛者，将郝瑗等郡县官收监，开仓赈济贫民。随后薛举自称西秦霸王，建元为秦兴。薛举大肆招兵买马，气势很盛，所到之处，无不被攻下的。隋将皇甫绾屯兵一万在枹罕，薛举选精兵二千人偷袭，与皇甫绾军遇于赤岸，还未交战，突然来了暴风雨。开始之时，薛举军处于逆风之势，但皇甫绾却没出击；忽然风向改变，两边一对调，皇甫绾军处于逆风之势，天色昏暗，军中混乱。趁此机会，薛举策马冲前，大队人马紧随而上，隋军大败，于是攻陷枹罕。当时羌人首领钟利俗在岷山界拥兵二万，全部投降薛举，由此兵力大增。不断率军攻占地盘，又攻克鄯、廓二州，数日之间，尽有陇西之地，兵力多达十三万。

兵强马壮的薛举父子准备大举进攻关内长安，这时的李渊知道自己再不反的话，薛举父子就可能拿下长安及关中，到时自己再造反的话就难以立足天下了，终于李渊下定决心正式起兵了。

李渊想反，但并不代表他管辖的老百姓会跟着他造反。当时李渊治下的山西，虽偶有盗贼，但老百姓的日子还能过下去。李渊想造反了，还可以活下去的老百姓却没有这种不要命的想法。这对于李渊来说，可不是好事儿。所以李渊的下属刘文静就想出了一歪招：“诈为敕书，发太原、西河、雁门、马邑年二十岁以上，五十岁以下，悉为兵期岁暮集涿郡，击高丽。”

李渊假传杨广的旨意，说杨广要再伐高丽。讨伐高丽，对于当时许多人来说是一场恶梦，现在杨广居然又要讨伐高丽。所以这道假的圣旨让太原“人情忷忷，思乱者众”。同时李渊就以讨伐刘武周为名，开始私自大规模招兵。因为这时的李渊还是以隋朝太原留守的名义行事，所以在很短的时间里便招到近万人。

太原李渊要造反，却并不代表太原的所有隋朝官员都想和他一样。其中太原副留守郡丞王威、武牙郎将高君雅就对朝廷对杨广忠心耿耿，不肯追随李渊谋反。这两人的不合作，让李渊为造反做准备时总是畏手畏脚的，于是李渊决定除掉他们。

大业十三年（617）五月14日的夜里，李渊命次子李世民在晋阳（即太原）宫城外埋下伏兵。第二天早晨，李渊和王威、高君雅议事。刘文静领开阳府的司马刘政会到庭中，说有密状给李渊。李渊便让他交上来，但刘政会却不交，说要告的是王威、高君雅二人，只有李渊才能看。李渊假装吃惊地说：“怎么会有这种事？”李渊看后便对大家说：“王威、高君雅要勾结突厥入侵。”于是命人以叛国罪逮捕了他们二人。巧的是第二天，恰好有突厥几万人围攻太原，这更使人相信了王威、高君雅要勾结突厥入侵。于是李渊趁机将二人杀掉，解除了身边隐患。这个事件史称“晋阳事变”。还有更巧的是接下来李渊没费一兵一卒就智退突厥之兵。

其实早就决定起兵的李渊就知道对自己要以太原之兵反杨广，夺取天下是没什么把握的。所以他就像刘武周一样想借突厥的力量来帮助自己，他曾派出刘文静代表自己出使突厥。刘文静带着李渊亲自写的信给突厥始毕可汗，封题署具“某启”，有人建议：“突厥不识文字，只贪财宝。请多赠财物而改启为书，以显尊贵。”李渊答道：“古人云‘屈于一人之下，伸于万人之上’，何乐不为！‘启’之一字，不值千金。千金尚且不惜，一字何所惜也。”。信中李渊对突厥始毕可汗说：“若能从我，不侵百姓，征伐所得，子女玉帛，皆可汗有之”。李渊的这种情况与刘武周称臣于突厥没有两样，故始毕可汗像接受刘武周一样快速的答应了与李渊的“结盟”。他当着刘文静的面，对左右说：“杨广之为人，我知之也，不若奉唐公为天子，我当不避艰难，以兵马助之！”