与王世充截然不同，史书中对他的评价，还是相当不错的：
建德义伏乡闾，盗据河朔，抚驭士卒，招集贤良。中绝世充，终斩化及，不杀徐盖，生还神通，沉机英断，靡不有初。及宋正本、王伏宝被谗见害，凌敬、曹氏陈谋不行，遂至亡灭，鲜克有终矣。然天命有归，人谋不及。 （《旧唐书·窦建德传》）
正因如此，当听闻窦建德之死的消息时，河北地区的老百姓，还是感到非常悲伤，如丧考妣。甚至到了中晚唐（唐文宗年间）时期，河北一带，依然有祭祀窦建德的民俗。关于这一点，唐人殷侔撰写的《窦建德碑》，有着准确的记述：
唯夏氏为国，知义而尚仁，贵忠而爱贤，无暴虐及民，无淫凶于己，故兵所加而胜，令所到而服。……自建德亡，距今已久远，山东河北之人，或尚谈其事，且为之祀。知其名不可灭，而及人者存也。 （《全唐文·窦建德碑》）
倘若当初，李渊能够刀下留人，保住窦建德的性命，利用窦建德的政治影响力，招抚河北各部。或许，效果会大不一样，河北的局势，可能就不是现在这个样子。唐高祖之所以坚决处死窦建德，很大一部分原因，是受了先前李密叛唐的影响，一朝被蛇咬，十年怕井绳，绝不能留下隐患。
于是，窦建德曾经的许多旧部，通过窦建德在河北军民中的崇高威望，以及为窦建德报仇的心态，大肆煽动舆论，上蹿下跳，密谋叛乱，只等万事俱备之后，便揭竿而起，正式与李唐开战。
既然决定起兵造反，当务之急，就要解决首领人选问题，必须要让一个有能力的人站出来，挑这个头。那么，让谁出来挑头呢？思来想去，他们打算用一种方式决定：占卜。经过占卜，得出了一个结论，只要让一个刘姓之人领导众人，则大事可成。所以，他们第一个想到的人，正是窦建德的旧将刘雅。
随后，众人找到刘雅，将谋反的计划和盘托出，希望刘雅可以出任起义军的首领。没想到，刘雅断然拒绝，这可是抄家灭门的谋逆之罪，他可不想为此丢了性命，说道：“天下适安定，吾将老于耕桑，不愿复起兵！”看到刘雅这么不配合，众人勃然大怒，又担心刘雅向唐廷告密，索性一不做二不休，便将刘雅杀死灭口。
杀掉刘雅后，很快，又有一个刘姓之人，浮现在众人的脑海之中，谁呢？汉东公刘黑闼。那么，这个汉东公刘黑闼是何许人也？为什么众人会看中他呢？老实讲，在夏国诸将当中，刘黑闼的确非常出类拔萃。
刘黑闼，贝州漳南县（今河北省故城县）人，与窦建德是同乡。根据史书记载，刘黑闼年轻时，狡诈蛮横，嗜酒好赌，不治产业。因此，刘黑闼家境贫寒，经常要依靠窦建德的资助度日。
后来，隋末战乱，刘黑闼投奔了农民起义军首领郝孝德，不久加入瓦岗军，被李密任命为裨将。可是，好景不长，洛阳北邙山之战，瓦岗军大败，刘黑闼被王世充俘虏。王世充素来听闻刘黑闼勇猛善战，便对他委以重任，拜为骑将，率兵驻守新乡。
虽然，王世充对刘黑闼给予高官厚禄。但是，刘黑闼一直瞧不起王世充，耻于在其麾下效命。不久，趁王世充不备，刘黑闼公然率部，逃回河北，投奔自己的同乡好友夏王窦建德。看到刘黑闼率部来投，窦建德大喜过望，任命他为将军，封汉东郡公，并且命刘黑闼率领军队，东西袭击。
刘黑闼投奔窦建德后，经常率军冲锋陷阵。而且，刘黑闼本人也足智多谋，对各路敌军的虚实，了如指掌。譬如，每次打仗之前，刘黑闼必派斥候侦察，有时还深入敌后，实地考察，再发起突袭。故而，刘黑闼每战总能大获全胜，军中之人都称他神勇异常，是夏军中的第一名将：
黑闼既遍游诸贼，善观时变，素骁勇，多奸诈。建德有所经略，必令专知斥候，常间入敌中觇视虚实，或出其不意，乘机奋击，多所克获，军中号为神勇。 （《旧唐书·刘黑闼传》）
武德四年（621年）五月，虎牢关之战，窦建德兵败被擒，夏国灭亡。刘黑闼被迫解甲归田，藏匿于漳南老家，每天以种菜为生，闭门不出。实际上，刘黑闼也是在暂时蛰伏，等待时机。
终于，有人找到刘黑闼了。夏国旧将杀死刘雅后，自然想起了隐居在家的刘黑闼。由于刘黑闼之前的经历，众人一致认为，他是反唐领袖的不二人选。最先推举刘黑闼为主公的人，正是窦建德旧部中的范愿，他对大家说：
汉东公刘黑闼果敢多奇略，宽仁容众，恩结于士卒，吾久常闻刘氏当有王者，今举大事，欲收夏王之众，非其人莫可。 （《旧唐书·刘黑闼传》）
听了范愿的提议，众人纷纷表示赞同，如果一定要让刘氏为王，刘黑闼实至名归。打定主意后，众人一起前往，拜谒刘黑闼。当时，刘黑闼正在田间种菜，众人来到之后，据实相告，说明来意。结果，刘黑闼没有像刘雅那样不识抬举，而是欣然接受。刘黑闼蛰伏了这么长时间，就是在等待这一刻。
然后，刘黑闼宰杀了自家的耕牛，置酒宴请夏国诸将。在酒宴上，刘黑闼当场拍板，定下了反叛李唐的大计。至于刘黑闼，自然而然地成为了叛军首领。很快，刘黑闼纠集了一百余人，