大业九年初，河北的窦建德已经成了高士达的司兵，手上有上万人啸聚一方，和河北绿林响当当的一号人物；河南的翟让则劫掠运河，广积钱粮，成为大河两岸最富有的反贼；而作为隋末三大农民军之一的杜伏威，则较之两位前辈差了不少，他此时的事业才刚刚开张。

大业元年的泗州之变，让年少的杜伏威失去了父亲和兄长。在逃亡的路上，他母亲也染病去世，才十岁的他便成了一个孤儿。

杜伏威有时候也想他那个刚刚拜上的义父，可他偏偏除了知道义父是个大官以为，并不知道义父的真实身份。要想拿着那把马刀信物去寻义父，无异于大海捞针。

杜伏威遂提着义父黄明远送给他的马刀，和辅公祏二人，跟着流民一路辗转，流亡到齐郡老家。

家已经不成家了。

从大业元年到大业六年，杜伏威一直在家乡厮混。除了一个遮不住风雨的破烂茅草屋和那把可以杀人的马刀，他一无所有。

杜伏威也准备找个正经营生，也想过个安稳日子，但此时尚未成人的他又能做些什么，他根本无法养活自己，为了活着，只得经常穿壁翻墙偷东西。

又一次杜伏威生病，快要饿死了，此时好友辅公祏带了一只羊给他充饥，这才救了杜伏威一命。

辅公祏和他一样也是孤儿，现在只得寄居在他的姑姑家，过着吃不饱、穿不暖的生活。辅公祏的姑姑家以牧羊为业，辅公祏便经常从姑姑家送给杜伏威。后来此事被辅公祏的姑父发现，他的姑父心有怨恨，于是上官府告发了他们偷盗的事倩。

现在偷盗已经会被杀头了，当地县衙便紧急追捕他们。

杜伏威和辅公祏也是经历过生死的人，杜伏威更是小小年纪，心狠手辣。二人杀死了三个来捉拿他们的官差，然后趁乱逃命。

吃了官司，杀了官差，二人索性直接落草为寇。

当时两人年纪还都不大，当上土匪之后，便从小卒做起。成为土匪之后杜伏威逐渐展现出了自己作战的天赋，每一次不管是打劫过路商贩，还是面对官军的围剿，杜伏威都能英勇作战，出则居前，入则殿后，很快就取得了大家的尊敬和信任，在同伙中脱颖而出。后来他们的头领被隋军所杀，杜伏威便被这一伙人推举为首领。

杜伏威有勇力，有心机，很快扬名四周。两人就靠着这一股山贼力量，不断地吞并其它的小股势力，还接纳那些走投无路的人，就这样慢慢发展成了一股不可小觑的力量。

辅公祏比杜伏威年长，但他自认能力不如杜伏威，甘当绿叶。

杜伏威十分尊重辅公祏，每日里“兄长”长、“兄长”短的叫得十分亲热。创业初期，二人相处无间，配合默契。

大业八年，因为当地官府围剿，杜伏威所部的生存空间大大减少，杜伏威遂率部逃窜到长白山地区，参加了王薄、孟让等人的义军。

杜伏威自然认出王薄便是当初害他们一家的那个天师的徒弟，当即便要找王薄报仇。幸好孟让在其中转圜，杜伏威才勉强压过此事。不过之后他和王薄关系不睦，双方几次发生争斗。后来杜伏威失利，便选择退出长白山地区，转道南下江淮。