除了愈演愈烈的农民起义有一定的规模外，在大隋的天下，地主阶级以及贵族在杨广的南巡后也开始举起反旗，反对杨广。
率先起义的是刘武周，他出身豪富之家。刘武周勇猛迅捷善于骑射，跟强横任侠之徒交往密切。他的哥哥刘山伯曾警告他说：“你不加选择地交朋结友，最终会犯灭族大罪的。”多次辱骂他，刘武周因此离家到洛阳，替太仆卿杨义臣当士卒，应召入伍征讨辽东，凭战功被任命为建节校尉。

东征回来后，刘武周返归马邑，担任鹰扬府校尉负责训练士兵。在他造反的当时，马邑郡的太守是王仁恭，刘武周是他手下的鹰扬府校尉。刘武周是本地土豪，在马邑很有号召力，加之刘武周本人骁勇善战，因此王仁恭非常器重他，让他担任自己的亲兵队长，负责自己的起居安全。不料这亲兵队长的职务给刘武周提供了方便，他竟然与王仁恭的一名侍妾发生了私情。

刘武周虽然胆大，却也害怕事情败露，又见天下已经动乱，便暗藏野心，就在郡中散布谣言说：“现在百姓饿得要命，田野上死人压着死人，王太守关着粮仓不愿救济，哪管百姓的死活啊！”用这些话激怒了群众，百姓都渴望发泄着愤怒怨恨。刘武周见民心已经动摇，就诈称生病不起床，老家的强横凶顽之徒都来问候，于是他杀牛打酒招待他们，在酒席上他大吃大喝并口出狂言说：“造反才能像这样生活，英雄好汉就要坚守志向，一起死在溪谷山沟也在所不辞。如今仓库里堆积的粟米都要烂了，谁敢跟我去拿来？”这班人都赞同响应。他跟同郡的张万岁等十多人瞅准王仁恭正在处理公务，刘武周假装去禀告事情，张万岁从背后溜进来，在郡厅斩杀了王仁恭，拿着他的首级到号令全城。事先约好的各路豪杰也一起动手，没费什么力气就控制了局面。于是他下令开仓放粮救济贫苦百姓，在郡内发送快报，所属各县都归附了他，得到士卒一万多人。刘武周当仁不让，自称太守。参加这次起义的还有后来上了凌烟阁唐初大将尉迟恭。

刘武周起兵的当月，雁门郡承陈孝意、虎贲将王智辩就领兵前来平叛，包围了刘武周辖下的桑乾镇。这时马邑全郡仅有兵力万余人，靠这点实力是不足以自保的，为此。刘武周派出使者向东突厥称臣表示归附。

马邑和雁门是隋朝抵御突厥入侵的北方最前线，突厥多次进攻都被守军凭借地势和城防击退，忽然马邑自己要求归顺，而且又是和雁门守军冲突。如此理想简直就没有理由拒绝。东突厥立即派出援军，配合刘武周一同发起反击，结果雁门军溃败，狼狈逃回雁门。有了突厥这个靠山，刘武周乘胜大举扩张，三月。占领楼烦郡，又攻克了杨广的行宫汾阳宫，俘获了大批珍宝和宫女，刘武周就用俘虏的美女珠宝进贡东突厥始毕可汗。

攻克汾阳宫是刘武周第一个大胜利。其意义非同小可。汾阳宫是皇帝的行宫之一，代表皇帝的尊严，宫内的美女更是皇帝名义上的妾侍，绝对不能得罪，刘武周居然占领了皇帝的整个行宫，甚至将皇帝的女人当礼物送给了突厥，这从任何角度看都是与大隋皇帝势不两立，也是用行动向东突厥表示了高度的效忠。始毕可汗大喜之下。立刘武周为定扬可汗。并把有狼头图徽的大旗送给他。突厥人是以狼为自己的象征，送刘武周狼头纛那是表示拿他当自己人了。受此鼓舞，刘武周意气风发。索性就自称皇帝，把妻子沮氏封作皇后，年号定为天兴。同时任命卫士杨伏念为左仆射，妹夫同县人苑君璋为内史令建立政权。

这时刘武周的地盘还只有马邑、楼烦两郡，于是刚做皇帝的他就努力扩大地盘，全力进攻雁门郡。郡丞陈孝意坚守雁门，拒不投降。雁门城防坚固，易守难攻，当年始毕可汗亲自领军将杨广围困于雁门，猛攻31天，雁门城始终巍然不动，最后在隋朝勤王兵马赶到后，突厥军不得不主动撤退。面对如此坚城，刘武周也无可奈何，陈孝意又不时主动出击，倒让刘武周吃了几次败仗。不过主动权始终还是在兵强马壮的刘武周手中，刘武周也不强攻，只将城紧紧包围，意图困死雁门守军。陈孝意多次派人突围求救，但是皇帝杨广远在江都，陈孝意的上级李渊又心怀叵测，根本没人理他。围困一百余天后，雁门终于粮尽，陈孝意本人是绝对的忠臣，誓死守土，但他的部下们并不都愿意随他殉国，眼看粮尽援绝，部将张伦就暗了杀陈孝意，开城投降。

此时的刘武周已经不是刚起兵时的区区万余人马了，可以称得上兵强马壮，其势力在北方一时称雄。势力大了之后，刘武周也是有烦恼的，烦恼的就是他的主要部将都是当年的马邑土豪，没有那种天下格局、统帅一方的高级军事人才，直到有大将之材的宋金刚投靠了他。

宋金刚原是河北的一支义军首领，部下有万余人。当时河北最大的两支势力是窦建德和魏刀儿，宋金刚是魏刀儿的结义兄弟，自然属于魏刀儿的势力。同在河北混的窦建德和魏刀儿终于一山难容二虎而发生火并，窦建德假装结盟麻痹住魏刀儿，然后突然袭击将魏刀儿擒杀。宋金刚在得知结义兄弟遭窦建德偷袭，立即起兵去救，但到达时魏刀儿已战败身亡，宋金刚的救援部队也被窦建德击败，只余四千人逃走。窦建德非常欣赏宋金刚的才能，派人前往招降，结果宋金刚心痛结义兄弟之死，坚决不降，把使者痛骂一顿后赶走了。宋金刚的余部也都不肯投降窦建德，于是他带了这四千人向西投靠了刘武周。刘早就听闻了宋金刚之名，他来后刘武周倾心与其结交，还封了宋金刚为宋王，让他负责指挥军事，还分了自己的一半家产赠送给他。这样的信任与荣宠让宋金刚心中自然十分感动，从此对刘武周死心塌地，为表示忠心，宋金刚甚至主动休掉了自己的妻子，迎娶刘武周的妹妹为妻。刘、宋二人如鱼得水，其关系之紧密。

刘武周造反并且快速的发展壮大，除了他自己出生土豪在当地有一定的影响力和得到东突厥始毕可汗的支持外，更重要的原因是当地的隋朝官员没有尽力镇压，这个官员就是后来也造反了的李渊。

刘武周造反的地方是李渊管辖之地，李渊是杨广任命的太原留守，节制太原、雁门、马邑、楼烦、西河五郡，在管辖的五郡被刘武周夺了三个后，按理说最该前来镇压的就是李渊。不过李渊没有尽力去为朝廷镇压叛乱，因为他也在做准备，准备像刘武周一样造反，所以他没有时间去理会刘武周的叛乱，这就给予了刘武周很大的发展壮大空间。

在前文讲到过李渊以及他的出身，不过由于他的特殊，在这里就再讲一下他的身份。李渊因为后来成为了大唐的开创者，而南北朝以来，社会上注重门第和家庭出身。所以对于李渊的家世渊源、出身籍贯，旧史上的记载颇多歧异，疑团不少，这主要就是围绕李渊家族是不是出生当时的名门望族原因。这里的出身名门望族与出生权贵之家是有一定差别的，并且当时在某种意义上出生名门望族比出生权贵之家更得到人们的尊敬与礼遇。