关隘——霍邑。可是，霍邑不是西河郡，驻守霍邑的隋军守将宋老生，也不是高德儒之流，他也算是隋军中的一员悍将。因此，李渊刚一出师，就碰到了一块硬骨头。
就在李渊为如何攻取霍邑绞尽脑汁的时候，老天爷似乎给李渊开了一个天大的玩笑。当时，连日大雨，道路泥泞，李渊大军无法前行。没有办法，李渊只能让一些老弱病残先行返回太原，从太原往前线运送了一批粮草。
问题是，大雨迟迟不停，而军中粮草已经明显告急。这还不算，此时，突然从太原方向传来了一个不知是真是假的消息，说突厥背信弃义，与刘武周联合，袭击太原。如果这个消息是真的，说明大后方太原面临危险，李渊很有可能后路被包抄。
关键时刻，摆在李渊面前的有两个选择，一，继续用兵，攻下霍邑，一路直取长安；二，放弃攻打霍邑，回师太原，再做长久打算，徐徐图之。李渊这个时候陷入了犹豫，如果此刻回撤太原，那么进军关中的计划将会半途而废；可如果继续攻打霍邑，万一刘武周与突厥袭击太原，自己不就真的是再无立足之地了。
李渊拿不定主意，于是紧急召开军事会议，商议下一步的军事行动。当时，义军军中出现了两派意见。一派以裴寂为代表，裴寂认为现在情况不明，况且宋老生、屈突通并非等闲之辈，真的打起来，未必会有胜算。所以，应该回师太原，徐徐图之，再做长久打算：
宋老生、屈突通连兵据险，未易猝下。李密虽云连和，奸谋难测。突厥贪而无信，唯利是视。武周，事胡者也。太原一方都会，且义兵家属在焉，不如还救根本，更图后举。(《资治通鉴》)
另一派则是以李世民为代表，李世民身为右路军主帅，听到裴寂提出回师太原的消极建议，立刻坚决反对。李世民认为，大好战机摆在面前，如果白白错过，岂不可惜。而且，宋老生其人轻狂浮躁，一旦真的要打，保证能够一战成功：
今禾菽被野，何忧乏粮！老生轻躁，一战可擒。李密顾恋仓粟，未遑远略。武周与突厥外虽相附，内实相猜。武周虽远利太原，岂可近妄马邑！本兴大义，奋不顾身以救苍生，当先入咸阳，号令天下。今遇小敌，遽已班师，恐从义之徒一朝解体，还守太原一城之地为贼耳，何以自全！
对于李世民的建议，李建成深以为然，也向父亲李渊进言，认为应该继续前进，攻下霍邑。面对两个儿子请求继续行军的建议，李渊该如何抉择？李渊还是采纳了裴寂的建议，决定回师太原。
如果李渊真的重新折回太原，那么，中国历史必将会被改写。在这个历史的重要关头，有人站出来阻止了李渊，谁呢？李世民。要么说李世民不凡，总能在关键时刻力挽狂澜，扭转局面。
当时，李渊已经下达了撤军的命令。可是，李世民却认为机不可失，如果此时撤军，必定会痛失入主关中的绝佳战机。因此，无论如何，李世民也要阻止父亲，想办法让父亲收回撤军的命令。
到了晚上，李世民准备到李渊的营帐中，再次力谏父亲。可是，营外的卫兵告诉李世民，李渊已经睡下了，把李世民拦在了营外。但李世民今天是吃了秤砣铁了心，一定要阻止父亲李渊。
紧接着，李世民做出了一个令所有人都想不到的行为，他坐在父亲的营帐外，嚎啕大哭。这哭声吵得李渊都睡不着觉了，没有办法，李渊只能将李世民叫进营帐。这个时候，李世民将自己的想法，向父亲和盘托出：
今兵以义动，进战则克，退还则散；众散于前，敌乘于后，死亡无日，何得不悲！
听了李世民这么一番别致的煽情后，李渊终于恍然大悟，决定继续进攻霍邑。可是，军令下达之后，左路军已经开拔，向太原折返。李世民却觉得这不是问题，自己的右路军还在，现在去追，还能追得上。最后，李渊笑着对李世民：“吾之成败皆在尔，知复何言，唯尔所为。”于是，李世民和李建成连夜追回了左路军，就在这时，太原的粮草也及时运送到了前线。
或许是上天感动于李家父子的义举，连日不断的大雨终于停了。李渊认为，攻打霍邑的机会到了，命令各军将士晾晒铠甲、武器。八月初三，清晨时分，李渊率领义军，从山间的小路向东南直插霍邑城下。
既然已经到了霍邑城下，军事才能。李渊担心，宋老生会占据霍邑固守，义军如果强行攻城，一定会付出很大的牺牲。可是，李建成、李世民兄弟却认为，宋老生有勇无谋，只要使用激将法，激怒宋老生，他一定会出城作战，到时候在城外，集中兵力，将其一举歼灭：
老生勇而无谋，以轻骑挑之，理无不出；脱其固守，则诬以贰于我。彼恐为左右所奏，安敢不出！
对于两个儿子激将诱敌的想法，李渊也深以为然，说：“汝测之善，老生不能逆战贾胡，吾知其无能为也！”在李渊看来，自己在贾胡堡驻扎了这么长时间，而宋老生却没有主动前来攻击。单从这一点来看，宋老生完全就是一个有勇无谋的莽夫。
父子三人达成共识，决定诱敌出城歼灭。并且，根据《大唐创业起居注》的记载，李建成、李世民在战前，向父亲李渊立下军令状：“雨罢进