瓦岗军的首领翟让，原来在东郡衙门里当差，因为得罪了上司，被关进了监牢，还被判了死罪。有个狱吏很同情他，在一天夜里，狱吏偷偷地给翟让解下镣铐，把翟让放了。
翟让出了监牢，逃到东郡附近的瓦岗寨，招集了一些贫苦农民，组织了一支队伍，当地一些青年人听到消息后，都来投奔他。这些人中有一个17岁的青年叫徐世，不但武艺高强，而且很有谋略。
翟让听从徐世的意见，带领农民军到荥阳一带，打击官府和富商，夺了大批钱粮。附近农民来投奔翟让的越来越多，队伍很快壮大到一万多人。
这时，有一个叫李密的青年前来投奔翟让，并且帮助他整顿人马。
李密对翟让说：“从前刘邦、项羽，也不过是普通老百姓，后来推翻了秦朝。现在皇上昏庸残暴，民怨沸腾，官军大部分又远在辽东。您手下兵精粮足，要拿下东都和长安，打倒暴君，是很容易办到的事！”
接着，两人商量了一番，决定先攻打荣阳。荥阳太守见事不妙，慌忙向隋炀帝告急。隋炀帝派大将张须陀带大军前来镇压起义军。
李密请翟让在正面迎击敌人，他自己带了1000人马埋伏在荥阳大海寺北面的密林里。
张须陀根本没把翟让放在眼里，莽莽撞撞地指挥人马杀奔过来。翟让抵挡了一阵，假装败退。张须陀紧紧在后面追赶，追了十多里，路越来越窄，树林越来越密，进入了李密布置的埋伏圈。李密见敌军到了，一声令下，埋伏着的瓦岗军将士奋勇杀出，把张须陀的人马团团围住。张须陀左冲右突，没法突围，最后全军覆没。张须陀也被起义军杀死了。
经过这次战斗，李密在瓦岗军里声望提高了。李密不但号令严明，而且生活俭朴，对起义将士也十分关心。日子一久，将士们就渐渐倾向他了。
后来，翟让觉得自己的才能不如李密，就把首领的位子让给了李密。大家推李密为魏公，兼任起义军元帅。瓦岗军在洛口建立了自己的政权。不久，又乘胜攻下许多郡县，隋朝官吏士兵都纷纷前来投降。瓦岗军一面继续围攻东都，一面发出讨伐隋炀帝的檄文，历数炀帝的罪恶，号召百姓起来推翻隋王朝的统治。这样一来，震动了整个中原。
正当瓦岗军不断发展壮大的时候，它的内部却发生了严重分裂。翟让让位给李密后，翟让手下有些将领很不满意。有人劝翟让把权夺回来，翟让却总是一笑了之。这些话传到李密耳朵里，李密就心生疑虑了。李密的部下也撺掇他把翟让除掉。李密为保住自己的地位，终于起了杀心。
有一天，李密请翟让喝酒。在宴会中，李密把翟让的兵土支开后，假意拿出一把好弓给翟让，请他试射。翟让刚拉开弓，李密便暗示埋伏好的刀斧手动手，把翟让杀了。
从此，瓦岗军开始走向衰弱了。这时，北方由李渊带领的一支反隋军却日益强大起来。
