窦建德妻子曹氏带领夏国百官来到长安投降唐朝后，李渊派遣官员到河北郡县，对于原夏国官员进行了大清洗，对于具有前隋官员背景的和当地大户出身的官员基本留用，对于泥腿出身或与窦建德关系密切的高官一律免职。窦建德的大将军、汉东郡公刘黑闼也被免职，剥夺了一切封号，成为白丁一枚，他的部将李如圭和齐国远也被免职。刘黑闼识趣，将库府财产分给众将，让众人各谋出路，自己孑然一身回老家漳南县（今河北故城）去了。
刘黑闼回到老宅，雇人耕种自家土地，闭门不出，内心在等待窦建德的结局，以及自己是否会被唐朝重新启用。然而，坏消息接连不断，唐朝废除了夏朝对于百姓减免税役的政策，新来的官员颐气指使，索要无度，令百姓怨声载道。府衙派人员查验户口，指定他为前朝余孽，竟要他定期到府衙报验，不得私自出行。刘黑闼当场就把来人大骂一顿，来人见刘黑闼发怒，知其威名，只好灰溜溜地走了，周围的邻居都拍手称快。
窦建德被杀的消息传来，百姓们感念窦王的恩德，自发到到祠堂、庙宇给窦建德上香祭奠，络绎不绝。刘黑闼带着酒肉到祠堂里祭奠窦建德，缅怀过去，喝的大醉，对唐朝的最后希望破灭了。
窦建德的嫡系高官，范愿、董康买、曹湛、高雅贤、王小胡等人都是被免职回家的，窦建德被杀后，接到了府衙的通知，要求他们立刻前往长安报到，各个心怀恐慌，串联到了一起。众人商议认定，前往长安凶多吉少，不如扯旗造反，拼个鱼死网破。然而谁当首领，众人却相互不服。范愿提议，刘黑闼智勇双全，经验丰富，威望卓著，请他当领袖，定能成事。众人皆言大善，立刻一起动身，骑马赶往刘黑闼家。
刘黑闼见众好友联袂来访，已然猜出几分，把家中耕地的黄牛宰了，围坐在院中喝酒吃肉。范愿说道：“李唐欺人太甚，视我们河北人如草芥，连杨广都不如。如此窝窝囊囊地活，不如轰轰烈烈地死，我们要再度扯旗造反，不知刘兄的胆气是否还在？”
刘
黑闼哈哈大笑道：“你们造反，若是不叫上我，才是不讲义气！”
众人言道，已然推举你为领袖，刘黑闼大喜，当即与众人商议起义细节。刘黑闼告知众人，要想起义，不能仓促的一窝蜂而起。需各自回去串联旧部，我们约定五日后起事，先占领家乡的县城，然后再合兵攻打郡城。众人听后，果然刘黑闼考虑的周详，是个好领袖，信心倍增，各自回去准备去了。
五日后（621年八月），刘黑闼招得百十号人，一举袭破漳南县城，后又接连大败贝州刺史戴元详、魏州刺史权威（戴元详和史权威都是唐朝空降官员，士兵多是本地人，不听其号令），尽收其器械及余众二千人。刘黑闼在贝州漳南设坛，祭奠窦建德，自称大将军，正式大举起兵。范愿、董康买等在十几个县也起义响应，占领了县城。
窦建德故将旧吏纷纷杀死唐朝官吏，响应起义。深州（河北饶阳）人崔元逊杀其刺史裴晞，占领深州。齐州总管王薄不听唐朝号令，阖门自守。
兖州总管徐圆朗正扣留了唐将盛彦师，割据兖州，起兵响应刘黑闼。
李渊听到刘黑闼等窦建德旧部在河北起义后，并不惊慌（疥癣之疾），立刻命令幽州总管罗艺领兵二万南下，河北道行台李神通领兵三万从黎阳北上，剿灭叛乱。
李神通和罗艺大军在信都郡（今河北衡水）形成了对刘黑闼夹击之势。此地区是当年高士达、窦建德造反起家的地方，窦建德照顾良多，当地民众对窦建德感恩戴德，刘黑闼占据了地利人和的优势。刘黑闼经过多年征战，对指挥数万兵马的大兵团作战是得心应手，知道唐军有备而来、气势正盛，采取收缩防线、固守城寨的策略，与唐军僵持不下。
范愿、董康等各地新起义的将领，也带着兵马驰援刘黑闼。
范愿问刘黑闼：“我军人员已经汇集的差不多了，为何还不率众出城与敌决战。”
刘黑闼答道：“我军占据地利，防守牢固，已立于不败之地。敌
军初来，小心翼翼，尚未露出破绽。此时与敌会战，即使战胜，自家折损必多。这些人是我们仅有的本钱，要善用之。”
李如圭和齐国远被免职后回到家乡，成立商社，贩卖信联帮货品。信联帮二当家陈翔对他们照顾有加，提供资助，俨然就是信联帮在河间郡的站点（信联帮按照宋成的指示，各地站点表面上都已独立出去了）。
他们接到刘黑闼要聚义造反的邀请后，决定响应（本就是亡命之徒，当过骠骑将军，享受过权势滋味后再难舍弃），但首先要妥善了断与信联帮的关系，所以他们赶往辽西，亲自对陈翔解释自己的决定。陈翔不但没有要求他们返还相欠的财物，还又赠送了五百匹战马，说道：“李唐盘剥河北，视你等如草芥，你们这次是提着脑袋造反，豁出命来。你我朋友一场，我岂能无动于衷。”
李如圭和齐国远大为感动，带着五百匹战马返回，立刻召集旧部造反，攻占了河间郡城及数个周边县城。当罗艺和李神通联军进攻刘黑闼时，刘黑闼令二人袭扰罗艺粮道。
李如圭让齐国远守城，自己率领二千精锐掩到罗艺身后，突袭了罗艺大军的辎重营寨，烧毁了部分粮草，然后依仗熟悉地势，全身而退。进而游弋在罗艺的补给线上，切断了罗艺粮草来源。罗艺无奈，只好挥军回头进攻河间郡。
刘黑闼对眼前发生的一切了如指掌，见罗艺大军回退，立刻集中全部兵力，出城与李神通决战，二军从早战到晚方才收兵罢战，李神通损失惨重，后退了二十里。正在安埋锅造饭，刘黑闼大军趁着夜色的掩护又杀了过来。刘黑闼的兵马都是本地人，熟悉地势，多股兵马突破了李神通的左右翼防线，李神通感到敌军到处都是，不知多少，正在合围中军，只好领军撤退，引发全线崩溃，各自奔逃。李神通此战丢弃了全部军资，只带回一万残兵逃回黎阳。
罗艺大军进攻河间郡，面对坚城一时难以攻下，听到李神通大败的消息后，不敢停留，率领全军迅速撤回涿郡去了。