翟让逃出了牢监，逃到东郡附近的瓦岗寨，招集了一些贫苦农民，组织了一支起义队伍。当地一些青年人，听到这个消息，都来投奔他。其中有一个青年叫徐世勣（音ｊī），年纪才十七岁，不但武艺高强，而且很有计谋。
    翟让听从徐世勣的意见，带领农民军到荥阳一带，专门打击官府富商，夺取大批资财。附近农民来投奔翟让的越来越多，很快就发展到一万多人。
    李密投奔翟让以后，帮助翟让整顿人马。那时候，附近各地还有一些小股的农民队伍。李密到各处去联络，说服他们联合起来，听从翟让指挥。翟让十分高兴，跟李密渐渐亲近起来。
    翟让虽然有了很多人马，但是他并没想到自己能推翻隋炀帝。李密对翟让说：“从前刘邦、项羽，本来也是普通老百姓，后来终于推翻秦朝。现在皇上昏庸暴虐，百姓怨声载道，官军大部分又远在辽东。您手下兵强马壮，要拿下东都和长安，打倒暴君，还不是轻而易举的事！”
    翟让听了很高兴，说：“您的意见太好了，我倒没想到这一点呢。”
    接着，两人商量了一番，决定先攻打荥阳。荥阳太守向隋炀帝告急。隋炀帝派大将张须陀带大军镇压。
    张须陀是镇压农民军的老手。翟让曾经在他手里打过败仗，这次听说又是张须陀来了，有点害怕。李密说：“张须陀有勇无谋，再加上他自以为强大，骄傲轻敌。我们利用他的弱点，保管能打败他。”
    李密请翟让摆开阵势，正面迎击敌人；他自己带了一千人马在荥阳大海寺北面的密林里设下埋伏。
    张须陀欺翟让不是他的对手，莽莽撞撞地指挥人马掩杀过来。翟让抵挡了一阵，假装败退。张须陀紧紧追赶，追了十多里，路越来越窄，树林越来越密，正是李密布置的埋伏圈。李密一声令下，埋伏的瓦岗军将士一齐杀出，把张须陀的人马团团围住。张须陀虽然勇猛，但是被伏兵层层包围，左冲右突，没法脱围，终于全军覆没。张须陀也被起义军打死了。
    经过这一场战斗，李密在瓦岗军里提高了威信。李密不但号令严明，而且生活朴素，凡是从敌人那里缴获来的钱财，他都分给起义将士。日子一久，将士们就渐渐向着他了。第二年（公元６１７年）春天，李密劝说翟让，趁隋炀帝在江都巡游，东都空虚的机会，进攻东都。瓦岗军派人到东都刺探军情，被隋朝官员发觉，加强了东都的防御。李密就改变计划，提议先打东都附近的兴洛仓（在今河南巩县）。