杨广南巡，带走了大隋在中原的大部分精锐军队，使得中原统治处于一种比较空虚的状态，这使得依然在挣扎的农民起义得到了喘气并发展壮大，同时也让有野心的贵族阶级看到了反隋的希望以及有了反隋的勇气。
虽然隋朝的农民在大业七年的时候就开始了并且声势浩大，但是在杨广军队的强力镇压下依然没有成势的可能。直到杨广的第三次南巡，在隋军的强力镇压下只能挣扎保命的农民起义的春天似乎来了，他们在这时开始发展壮大。在后来，北方农民起义汇成了两支强大队伍：一支是河南的瓦岗军，一支是河北的窦建德军。这两支队伍加上江淮地区的杜伏威军成为隋末农民反隋的强大三主力。其中由贵族领导的瓦岗军是三支队伍中最为强大的，它甚至一度问鼎中原。

曾任东郡法曹的翟让，犯法当斩，狱吏黄君汉知道他武功高强，认为他“可救生民之命”，便不顾个人安危，私自释放了他。大业七年（611），逃命到瓦岗的翟让与同郡人徐世勣（即李勣）、单雄信起兵于瓦岗（河南安阳），这也是瓦岗军的名称来由。参加起义的有故县吏邴元真、善于占卜的贾雄和翟让的兄长翟弘等。翟让以贾雄为军师，邴元真为书记，徐世绩、单雄信为领兵将校，所部多齐、济间渔猎手。瓦岗军初期活动于东郡一带，瓦岗军初期活动于东郡一带，翟让后来听从徐世绩的建议，分兵西上，进入大运河所经的郑、宋边界，阻截往来的公私船舶，资给丰足，归附者日众，起义队伍很快发展到万余人。但是不知道是隋军镇压的厉害还是作为首领的翟让没有多大野心与能力。起义后的瓦岗军直到大约十二年（616）的时候还是像隋末大部分的农民义军一样没有什么特别的，都是为了活命聚在一起的“土匪”队伍。但是在大业十二年的十月，他的加入改变了瓦岗，改变了天下。他就是参加过大业九年杨玄感叛乱的大贵族李密。

杨玄感兵变失败后，在衙役手中逃脱的李密与王仲伯先投奔逃到平原(山东平原)一带的义军首领郝孝德处，但郝孝德却不以礼相待，于是李密又投另一义军首领知世郎王薄，王薄对其也不重用。是年，山东闹饥荒，李密二人沦落到削树皮用来充饥。

不久。王仲伯离开李密偷偷回至天水，李密则逃到淮阳(河南淮阳)，住在村中，改姓名刘智远。当起了私塾先生。几个月间，李密郁郁不得志，便作了一首五言诗，哀叹自己的凄凉处境：

“金凤荡初节，玉露凋晚林。

此夕穷途士，空轸郁陶心。

眺听良多感。慷慨独沾襟。

沾襟何所为？怅然怀古意。

秦俗犹未平，汉道将何冀！

樊哙市井徒，萧何刀笔吏。

一朝时运合，万古传名器。

寄言世上雄。虚生真可愧”。

诗成之时，他自己悲从中来，竟至落泪。当时有人感到奇怪，便把此事告于太守赵佗。赵佗遂派人前去抓捕，李密闻风而逃，躲过此劫。李密无处可去，只好躲在他妹夫雍丘县令丘君明家里，丘君明不敢收留。便让他藏在游侠王秀才家。王秀才还将女儿嫁于李密。不久，丘君明的从子丘怀义向官府告发，梁郡通守杨汪相知前去抓捕。汪相知派兵包围了王秀才家，命大的李密正好外出，因此得以逃脱，而丘君明和王秀才却因此事被杀。

走投无路的李密在翟让的部将王伯当的推荐下于大业十二年(616)十月，投奔翟让。

李密来到瓦岗军后，其中有人知道李密是杨玄感的亡将，朝廷通缉钦犯，可能是怕招来朝廷的大规模围剿于是暗中劝翟让将李密除掉。李密闻后，心中大惧，便通过翟让部将王伯当向翟献计：“今主昏于上，人怨于下，锐兵尽之辽海，和亲绝于突厥，南巡流连，空弃关辅，此实刘、项挺兴之会。足下资豪桀，士马精勇，指罪诛暴，为天下先，杨氏不足亡也”。翟让闻后，说：“吾侪群盗，旦夕偷生草间，君之言者，非吾所及也”。从此对李密礼遇有加。

当时有个叫李玄英的人，从东都逃出来，在众义军中寻访李密，并云“斯人当代隋家”。别人问其故，李玄英说：“比来民间谣歌有《桃李章》曰：‘桃李子，皇后绕扬州，宛转花园里。勿浪语，谁道许！’‘桃李子’，谓逃亡者李氏之子也；皇与后，皆君也；‘宛转花园里’，谓天子在扬州无还日，将转于沟壑也；‘莫浪语，谁道许’者，密也”。待与李密相遇后，遂委身事之。还有前宋城尉齐郡人房彦藻，自负其才，但却无法施展，因而参与了杨玄感之事。杨玄感失败后，房彦藻隐姓埋名，结果在梁、宋之间，遇到了李密。此时，翟让命李密游说邻近的小股义军，李、房二人以身相随，所至皆附。翟让见李密为豪杰所归，欲从其计，但犹豫未决。

翟让手下有个叫贾雄的人，通晓阴阳占候，被翟让命为军师，而且言无不用。李密主动与贾雄结下深厚的交情，然后让贾雄暗中助他。时值翟让召贾雄议事，并将李密所言告诉了贾雄，问其是否可行。贾雄说：“吉不可言。”又说：“公自立恐未必成，若立斯人，事无不济。”翟让不解，问道：“如卿言，蒲山公当自立，何来从我？”贾雄回答说：“事有相因。所以来者，将军姓翟，翟者，泽也，蒲非泽不生，故须将军也”。没有什么文化的翟让听他这样一说，深信不疑，从此翟让和李密关系与日俱增。李密得到翟让的信任后，便开始参与瓦岗军的议事。

而后，李密向翟让建议道：“今兵众既多，粮无所出，若旷日持久，则人马困敝，大敌一临，死亡无日。未若直趣荥阳，休兵馆谷，待士马肥充，然可与人争利”。当时瓦岗军粮食供给不足，仅靠截取隋廷漕运来维持军需。所以李密的这一建议得到了翟让的首肯，翟让依计而行，率军于同月攻破金堤关(河南荥阳)，随即攻下荥阳诸县，进逼荥阳城。杨广知道后命河南道十二郡讨捕大使张须陀为荥阳通守，率其精锐近三万余前往镇压。另派荥阳太守郇王杨庆率军配合张须陀作战。

张须陀曾镇压山东地区多支农民起义军，在当时有名将之称。在李密来到瓦岗之前翟让多次为其所败，故对其甚是忌惮，一听是张须陀带兵前来，心中大惧，欲率军远避其锋。这时李密便对翟让说：“须陀勇而无谋，兵又骤胜，既骄且狠，可一战而擒。公但列阵以待，保为公破之”。这时对李密有点言听计从的翟让只好硬着头皮不得出战，二十七日，李密率骁勇常何等二十人为游骑，分兵千余人于大海寺(河南荥阳)北林内设伏。翟让以主力从正面迎敌，张须陀军以方阵进击，翟让率军接战后便退。张须陀素来轻视翟让，见瓦岗军败退，以为有机可乘，遂率军追击十余里，至大海寺附近，李密伏兵四起骤起，翟让也回军反攻，张须陀兵败。李密又让徐世勣、王伯当将张须陀军合围，经过激战，大败隋军，杀张须陀，其副将贾务本受重伤后率残部5000余溃逃。

此战，李密用计和指挥正确，一举歼灭隋军主将，取得了瓦岗军成立以来的第一次重大胜利，使河南郡县为之丧气。瓦岗军随后乘胜攻占军事重镇荥阳城，为夺取粮仓，发展壮大力量，创造了有利条件。战后，翟让令李密独立设帐统领一部兵马，因李密曾经的爵位是蒲山公故他的兵营号蒲山公营。李密治军严整，“凡号令士卒，虽盛夏，皆如背负霜雪”。志在天下的李密的生活也很俭朴，所得金宝，全部分给部下，所以深得众心。在打败张须陀攻占荥阳城后，没有多大志向的翟让就对李密说：“今资粮粗足，意欲还向瓦岗，公若不往，唯公所适，让从此别矣”。翟让率辎重东归，李密则西行至康城，说下数城，大获资储。翟让大为后悔，也率兵随李密而行。