杨广到了江都，江都地处江淮交汇之处，南临长江，西濒京杭大运河，长年多雨，水资源丰富，风景如画，但相比洛阳规模太小。

杨广不满意，现在的他并没有吸取以往的教训，仍然到处抓丁拉夫，一是扩充军队，二是充当民工，对江都进行扩建修缮，连年的大兴土木，百姓苦不堪言，很多人不堪忍受，累死的，奋起的反抗的，逃跑为贼的，多如牛毛，迁都仅一年多，江都郡周围便盗贼蜂起。

此时，山东长白山一带被镇压的义军头领李子通、杜伏威和辅公祏等人跑到了江淮一带，在下邳得到一批盗贼的拥护，他们钻出山林，又兼并了数股盗贼，实力大增。于是三个头领一商议不再打家劫舍，而是自称义军，矛头直接对准隋朝的官员。地方官派兵镇压，杜伏威作战勇猛，屡败隋军，杀官夺县，开仓放粮，四方响应，很快义军发展为十万多万人，不久，杜伏威被拥立为“大王”。

隋炀帝闻报大怒，派出宇文述带兵镇压，双方在江泰摆开战场。杜伏威手下的大将王雄与天宝大将宇文成都交战五十余合后不敌，李子通冲上来，双战宇文成都，这下宇文成都吃不消了，宇文述大怒，和宇文智及冲上来帮忙，双方混战，杜伏威寡不敌众被杀得大败。

宇文述带兵紧追不舍，在芦苇荡遭到辅公祏的埋伏，伤兵损将大败而回，十几万人马折损大半，败回江都。

这一仗令江淮义军声威大震，前来投奔者络绎不绝。

回到江都后，宇文述带着儿子宇文智及和孙子宇文成都在杨广面前请罪，没等杨广说话，宇文化及拦道：“许国公功高盖世，何罪之有？胜败乃兵家之常事，对吧陛下？如今大隋朝能与反贼抗衡者，舍我宇文家族，能有其谁？依微臣之见，许国公非但没罪，应该重赏才是！”语气傲慢，甚至连礼也不施。

杨广一看，这宇文化及的尾巴露出来了，是啊，现在宇文家族势力太大了，自己身边真就无人与他抗衡，于是后悔不迭，但已不敢多言。

大将军来护儿看不下去了，当面大骂宇文化及仗势欺主，天宝大将宇文成都勃然大怒，二人拔出佩剑当场在金殿上交手，几合之后，被杨广拦阻下来，宇文述带着儿孙包括宇文化及在内，转身拂袖而走。

数日后，来护儿联络了几千兵马要清君侧，准备夜间动手，杀了宇文家族。不料事情败露，混战之中，来护儿遭遇宇文成都，没出十合，被宇文成都一镗拍成了肉泥。

宇文化及带兵冲进皇宫，将隋炀帝杀死。正要拥立宇文述为帝的时候，江淮义军二十余万困住了江都，大举攻城。

几日后城破，宇文述带着两个儿子一个孙子杀出重围后，还剩下一万多兵马追随左右。祖孙四人一商议，江淮地区民风强悍，不宜久留，他们带着残兵败将回师中原，打算攻占东都。

此时的东都，年仅十岁的杨侗即位，辅政大臣王世充、段达、元文都等人给他们母子出注意，诏降李密，许瓦岗寨的李密等将高官厚禄，让瓦岗军攻打宇文述的部队。

现在的瓦岗寨兵强马壮，李密被推为魏王，军师徐茂公和魏征知道这是杨侗等人的借刀杀人之计，不同意出战。李密不听，他打算打败宇文述后，拿下洛阳，于是率大军与宇文述决战于黄河岸边。

宇文述果然兵败，而且还身负重伤，被宇文成都保着，他们逃到河北的魏县暂时落脚，两年后，宇文述病故，宇文化及自称许王，占据了河北南部一带。