，只让他带领另一半军队，东出潼关。这样一来，李密所带的兵力，仅有区区一万人马。
唐高祖的这个举动，在一定程度上，有效地扼制了李密的军队数量。同时，也给了李密当头一棒。此举一出，李密明白，皇帝李渊从头至尾，就没有信任过自己。如今，只让自己统领一万人马，兵力单薄。万一唐朝真的决定动手，这一万人马，岂不是连送死都不够格。因此，李渊的这一招，使得李密无比沮丧。
不过，这还不是让李密最沮丧的事情。紧接着，一件意外状况的发生，使得李密彻底失去了理智，方寸大乱。正因如此，也最终导致了李密走向败亡。这是一件什么意外状况呢？李密阵营中，有人临阵倒戈了。
跟着李密一起出关的部众，他们都非常清楚，李密这一走，是要正式与唐朝分道扬镳，想要自己单干。现在的情形是，身后，秦王李世民的大军，步步紧逼；前方，一片生死未卜。此行凶险异常，如果成功了一切好说。可万一失败了，那将会是一场塌天大祸。所以，这个时候，李密阵营内部，有人退缩了。
这个人就是李密的长史——张宝德，他觉得，李密简直是不自量力，自己不能跟着李密一起送死。为了保全自身，张宝德连忙密奏唐高祖，坚称李密此行必反，肯定会掀起一场大乱：
上使李密分其麾下之半留华州，将其半出关。长史张宝德预在行中，恐密亡去，罪相及；上封事，言其必叛。(《资治通鉴》)
接到张宝德的密奏后，李渊的态度，立刻发生了一百八十度的大转变。这个时候，他有些后悔放李密离开，唐高祖决定亡羊补牢。于是，李渊立即发出一道敕书，命令李密将军队留在原地，独自一人单骑返回长安。
当李密行进至稠桑时，便收到了唐高祖发来的敕书，命他即刻回京。这道敕书，无疑是压死骆驼的最后一根稻草，彻底击溃了李密的心理防线。多年的摸爬滚打，让李密的神经马上紧绷起来。这道命令回京的敕书，对于李密而言，就是一道“催命符”。李渊这是将他架在炉火上烧烤，置于进退两难的绝境。
为什么这样讲呢？李密明白，无论去与不去，结果都是一样的。李渊发布这道敕书，很明显，对李密已经起了杀心。一旦李密真的奉旨回京，唐高祖是绝对不会再放他离开，说不定还会将他杀了。
可是，如果不回去，继续向山东开拔，也是面临层层险阻。首先，当时，李密的东出潼关之行，前方情况不明，或许会遭到多股势力的围攻。可能来自王世充，也有可能来自唐军的攻击。不仅如此，李密的后方，李世民的主力大军，犹如泰山压顶，紧紧尾随。在这种腹背受敌的境地下，李密的前路，是非常迷茫的。
而且，虽然李密铁了心要叛唐自立，但毕竟名义上还是唐朝的臣子。如果李密不奉敕令，那就是公然抗旨。到时候，唐高祖可以名正言顺，宣布李密为叛军，下令将其剿灭。所以，无论李密最终决定，是回京还是继续前进，都是进退两难。这个时候的李密，完全陷入了骑虎难下之势。
那么，面对这样的窘境，李密该如何抉择？是乖乖返回长安，还是一条路走到黑。经过激烈的思想斗争，李密选择了后者，决定一意孤行，叛唐到底。打定主意后，李密便将自己的计划，向谋臣贾闰甫和盘托出：
敕遣我去，无故复召我还，天子向云，“有人确执不许”，此谮行矣。吾今若还，无复生理，不若破桃林县，收其兵粮，北走渡河。比信达熊州，吾已远矣。苟得至黎阳，大事必成。公意如何？(《资治通鉴》)
到了这个时候，李密打定主意，一条道走到黑，不再回头。因此，李密制定了一个计划，率部继续前行，攻破前方不远的桃林县，俘获其部众，夺取其粮食。然后，北渡黄河，前往黎阳，与徐世勣会合，则大事可成。为了保证计划万无一失，李密专门告诉给了贾闰甫，向他征求意见。
没想到，作为李密的心腹谋士，贾闰甫却极力反对。他认为，即使李密攻克桃林县，也很难重整旗鼓。桃林县地处冲要，一旦失陷，任瑰、史万宝等唐朝将领，旦夕之间，便能赶到。而且，大唐皇帝对李密素来不薄。如今，李密公开叛唐，未免有些忘恩负义，授人以口实：
主上待明公甚厚；况国家姓名，著在图谶，天下终当一统。明公既已委质，复生异图，任瑰、史万宝据熊、穀二州，此事朝举，彼兵夕至，虽克桃林，兵岂遐集，一称叛逆，谁复容人！为明公计，不若且应朝命，以明元无异心，自然浸润不行；更欲出就山东，徐思其便可也。
贾闰甫的一番话，瞬间让李密的心情低到冰点。本来，李密将袭击桃林的计划和盘托出，是希望贾闰甫可以支持自己。不曾料到，贾闰甫不仅坚决反对，而且还以图谶之说为依据，劝说李密，这更是让李密火冒三丈。
直到现在，李密依旧偏执地认为，“李氏当为天子”的谶纬，应该落到自己身上，而不是李渊。李密觉得，自己曾经拥有那样强大的实力，理应天命所归，成就帝业。凭什么要向他李渊俯首称臣，他不甘心。因此，听了贾闰甫这么说，李密非常生气，然后很不高兴地斥责贾闰甫：
唐使吾与