不管李渊是不是出身在他做了皇帝后坚称的陇西李氏（陇西李氏“望出陇西”是千百年的传承），但不能否认的是，李渊是出身在权贵世家的。在李渊的祖父李虎时，其家族就开始飞黄腾达。李虎因为积极参与后魏权臣宇文泰的政变并获得成功，与宇文泰、太保李弼、大司马独孤信等八人一起被称为“八柱国”，为西魏的开国功臣，封爵陇西郡公，官为太尉，还被赐予鲜卑姓大野氏。由于李虎和当权的宇文泰交情很深，在宇文泰的儿子篡西魏建北周时，虽然他本人已死，仍被追封为唐国公。至此，李渊的家世就与唐联系起来。所谓唐，就是传说中尧舜禹中的唐尧之唐。
李渊的父亲李昞是李虎的第三个儿子，因为李虎的长子次子都死的早，所以李虎死后，李昞就袭爵陇西郡公，后来因功被加封唐国公。曾任北周安州总管，柱国大将军。据记载他从小受到父亲李虎的良好教育和影响，一边学文，一边习武，练就一个好身板，练出一手好武艺。善长使用长枪，舞起来好似蛟龙出水，神出鬼没；敢拉硬弓，百步穿钱，百发百中。十三、四岁就骑上骏马，随父亲南征北战，拼命杀敌，建有许多战功。东西魏时，两国经常发生战争，他在父亲麾下经常参加战斗。一次交战中，西魏少帅宇文觉（后来的北周皇帝）被东魏高洋打败，一路拼命逃跑，后边紧追不放，眼看于文觉就有生命危险。李昞手疾眼快，搭箭射去，正中高洋左臂，险些落马，于文觉因此得救，回朝后升李昞为将军。八柱国之一的独孤信。看李昞英勇有为，相貌堂堂，便托人向李虎家求婚，将四女儿独孤氏许配给李昞。这场婚姻后李渊家族成为了北周和隋朝的皇亲国戚，这对于李渊家族后来的发展有着至关重要的影响。

原来这孤独信女儿众多，其中长女嫁给北周世宗明皇帝宇文毓妻，后来被追封为明敬皇后；七女独孤伽罗，即杨坚的妻子后来的文献皇后，而李昞娶的是孤独信的四女儿，所以这李昞还是杨坚的姐夫。细论起来。李渊乃是杨坚的内甥，杨广的姨表兄弟。在那个极其注重家庭门第出身和姻亲关系的时代，父亲与母亲的出身为李渊的后来获得了很多人不具备的极大便利。他自言“承七叶之余庆，资五世之克昌；遂得地臣戚里。家称公室”，正是真实的写照。

李昞死后，家里的几个儿子相继早亡，所以七岁的李渊继承了他的爵位唐国公，但爵位并无实权。因为李渊是杨坚的亲家人，“由是特见亲爱”“以故文帝（杨坚）与高祖（李渊）相亲爱。”所以李家深受杨隋的重用。十五岁时就被姨夫杨坚破格提拔为的贴身侍卫“隋受禅。补千牛备身”，从此步入政坛。千牛备身这是贵族子弟的进身之阶，不过因为年轻的缘故一直到杨坚在世时，李渊也只是做到地方州郡一级的最高行政长官——刺史（后称太守）。李渊的官位是在表弟杨广做了皇帝后。开始一路飙升的。

杨广一登基，李渊就被升为荥阳、楼烦二郡太守，不久，就调任朝廷担任了殿内少监，成为大隋帝国权力中枢里的重要人员。大业九年又提升他为卫尉少卿。是他表弟让他从地方进朝廷的，是他表弟让他掌握军政大权的。当国家大规模讨伐高丽之时，杨广对李渊这位表兄还是十分照顾的，没有让这位当时著名的神箭手去前线。而是让他在安全后方督运粮草。大业十一年。李渊被拜为山西河东抚慰大使，大业十二年李渊升为右骁卫将军。李渊大业十三年成为太原留守，掌管太原、雁门、马邑、楼烦、西河五郡。可以说李渊彻底掌握了国家的边关重镇与军事大权。在一些史书中说杨广一直对李渊不放心，一直打压他，这与实际上步步高升、官运横通的李渊待遇是相符矛盾的，这其实是李渊做了皇帝后为自己反杨广找借口的。否则能说杨广对李渊恩德隆盛，李渊却还反杨广吗，这不是说李渊不忠吗？

一千多年来，没有多少人了解李渊的才能，多数人认为他是平庸之辈，习惯把唐朝开国的功绩算到他的儿子、唐太宗李世民头上。造成这种现象的原因除了自己在晚年的时候作为开国皇帝被儿子逼下位外，更重要的原因是是初唐李世民的史官有意识地丑化李渊，篡改开国历史以正李世民之名。

其实真正的李渊可以说的上是能文能武，并且不是一般的文武双全。在武方面如果他不是很出色的话就娶不到妻子窦氏。李渊的妻子窦氏，本是家世不凡的一女中豪杰；父名窦毅，曾仕北周为上柱国，娶周武帝之姊襄阳长公主为妻。窦氏出生时，发垂过颈，三岁便发与身齐。周武帝特爱重之，授读《女诫》、《列女传》等书，窦氏皆过目不忘。及杨坚篡周，窦氏泪流满面自投床下，慨然道：“恨我非男子，不能救舅家。”窦毅与长公主忙掩其口说：“切毋妄言，吾族将被灭。”自是，夫妻二人暗暗惊异，窦毅对长公主道：“此女有奇相，且智识不凡，宜为她小心择婿。”

因此，夫妻二人也就有了比箭招亲的打算。到了窦氏该成亲的年纪时，窦毅便命人在府门内的屏风上画两只孔雀，凡有人求亲，便赐箭二支，命其试射孔雀，并与之私下约定，只有射中孔雀双目，方可将女儿许配给他。一时王孙贵胄，争来角射，门坎几乎踏穿，前后数十人，人人张弓发箭，偏偏无人射中目标，角射者只好乘兴而来，败兴而去。唯独李渊后至，不慌不忙，连发两箭，一箭射中孔雀左目，一箭射中孔雀右目。窦毅大喜，由是将女儿许配与李渊。这一故事在《旧唐书》是这样记载的：“乃于门屏画一孔雀，诸公子有求婚者，辄与两箭射之，潜约中目者许之。前后数十辈莫能中，高祖（李渊）后至，两发各中一目。毅大悦，遂归于我帝。”从这里就可以看出李渊的武艺是如何的出众，否则就不能抱得美人归了。在文方面就不用讲了，隋末乱世，能成就一番帝业能是一般人吗。

知道李渊是因为娶了个对隋有敌意的前朝（北周）公主女儿，在妻子的影响下而产生了异心；还是他在十五岁的时候作为杨坚的贴身侍卫（千牛备身）看到杨坚的皇帝行头时像刘邦看到秦始皇的仪仗后一样萌生的“大丈夫当如此”异心，反正李渊很早就有谋反的野心。这从一些史书的记载就能看出。

唐朝的刘餗《隋唐嘉话》在记载着这样一段话：“炀帝宴群臣，以唐高祖面皱，呼为“阿婆”。高祖归，不悦，以语窦后，后曰：‘此吉兆。公封于唐，唐者堂也，阿婆即是堂主。’高祖大悦。”由此可知一脸是褶老谋深算的“阿婆”李渊早有做谋朝篡位的野心，否则就不能说出如此诛心的话来。

还有在武德二年（619）的时候，宇文化及的弟弟宇文士及归顺唐朝李渊时，李渊问他：“汝兄弟（宇文化及）率思归之卒，为入关之计，当此之时，若得我父子，岂肯相存，今欲何地自处？”宇文士及一听赶紧谢罪道：“臣之罪诚不容诛，但臣早奉龙颜，久存心腹，往在涿郡，尝夜中密论时事，后于汾阴宫，复尽丹赤。自陛下龙飞九五，臣实倾心西归，所以密申贡献，冀此赎罪耳。”于是李渊笑着对裴寂说：“此人与我言天下事，至今已六七年矣，公辈皆在其后。”宇文士及说的事就是在杨广东征高句丽的时候，他劝在琢郡督粮的李渊趁机起兵取代杨广，但是老谋深算的李渊认为时机未到，故没有发动，然而没有李渊有眼光的杨玄感就急不可耐的跳出来成为了出头鸟。