过了几天，大雨还不见停歇，军中粮草未至，军心稍有涣散。裴寂等人商议，欲向民间征粮，李渊不从，直到八月中旬，大雨刚停，从太原运来的粮草便到了。
这时候，还有一个意外惊喜，始毕可汗命手下阿史那氏遣战马万余匹来送于李渊，阿史那氏留在李渊帐下。李渊给他赐姓史，名史大奈。
“参见唐公，卑职有礼了”史大奈突厥人，隋朝时期跟着处罗可汗投奔隋炀帝杨广，后来天下大乱，史大奈又回到了突厥，所以，中原对于他来说，根本不陌生。
“特使快快请起，远道而来一路辛苦，且到偏帐歇脚，感谢始毕可汗”李渊跟史大奈一番客套，史大奈确实有些疲惫，便听从李渊安排，去偏帐歇息去了。
这时候，李渊兵强马壮，在也没什么后顾之忧了。次日大军从贾胡堡出发，不日便抵达了霍邑城下。
霍邑城守将宋老生霍州总兵，年近花甲却不显老，生的背阔腰圆，身材魁梧，手持一把砍刀，只可惜有勇无谋，性情急躁。听说唐军兵至，顷刻便要调兵遣将，出城迎战。
幸得其手下有一谋士，名苏和，对宋老生道“将军切勿急躁，唐军远道而来，必然疲惫不堪，我只需坚守数日，唐军粮草跟不上，必不战自退”
宋老生对这位谋士相当信任一向言听计从。于是便紧闭城门，城上多设弓弩，滚石巨木。
见宋老生不出城应战，李渊一时间没了计策，霍邑城高墙固，莽撞攻城不可取，李天河对宋老生了如指掌，知己知彼方能百战不殆。对李渊献计道“宋老生性急，此为将大忌，明日二位世子可领数十骑去城下骂战，太守领百骑于城东埋伏，我自率后军，看宋老生兵出，太守于城东率军冲杀，我自率后军接应，如此老生可获，霍邑可得”
这个攻城之计，李渊及众将都同意。
次日一大早，李建成李世民二人率数十人于城下百般辱骂宋老生，这宋老生也是一把年纪了，哪里经得住后辈小儿如此辱骂，气的在城楼上直跺脚，白胡须一抖一抖的。
经过李世民李建成等人几次三番的辱骂之后，宋老生再也忍不住了，属下谁的话也听不进去了，只想出城杀个痛快，于是带着一万五兵马杀出城中。
李世民李建成二人见宋老生出城，急忙率手下几十人后退，宋老生率兵来追，李渊从城东率百人冲入宋老生阵中冲杀一阵后和李建成李世民合兵一处，一起后退。
这时候引得宋老生距离城外已经几十里地了。
李天河与刘文静段玄志等人率后军截住宋老生归路，杀向宋老生后军，此时宋老生才知道中计了。
这时候，李渊等人突然回身，李渊大喊“宋老生已被擒获”隋军听见后，顿时大乱，径向城门奔去。李天河等人率大军已经堵住了隋兵归路。
宋老生在混乱中见进不去城门，于是跳下马奔向壕沟，于壕沟中与李天河，刘弘基等人遭遇。
“乱臣贼子，安敢犯我城池！”宋老生手握大砍刀。指着李天河刘弘基等人怒骂。
“见你岁数大了，何不早降？”李天河懒得跟他废话，冷冷的道。
周围隋兵跑的跑，死的死，宋老生身边只有几名亲信。被李渊大军包围其中。城内那五千多人没什么得力的大将也不敢出城，只得紧闭城门。
宋老生见一唐军要上前捕获他，奋起一刀，将那唐军斩落马下。宋老生自知大势已去，手持砍刀哈哈大笑道“年近七旬，战死沙场，也不枉为人臣，来吧小儿们，教你们见识见识什么叫宝刀不老！”
刘弘基手持大刀冲向宋老生。
宋老生举刀迎战，年纪虽大，但手中刀法却不弱，连劈带砍，刘弘基一时间竟无法近身，隐隐处于下风。
李天河周围众将见此，要上前帮忙，却被李天河拦住了，这老头虽不识时务，但是其忠勇可嘉，让刘弘基和他杀个痛快，也不枉一世英名。
最终，宋老生还是岁数大了，体力跟不上，被刘弘基当头一刀，他举刀来迎时，因为力气不佳，被刘弘基一刀劈死。
宋老生一死，城上守军立刻放下武器归降唐军并开城门迎接唐军进城。
李渊领着李天河李世民李建成并麾下诸将军马进城，得到投降隋兵几千人，进城后依旧秋毫无犯。
李渊进霍邑后，第一件事就是论功行赏，与隋炀帝不同，李渊不吝惜官职，从降将到士兵，通通封为五品散官。裴寂等人不解其意，上谏，却被李渊驳回。
他们不明白，李天河心里明白的很，李渊是吸取隋炀帝灭亡的教训，其中就是隋炀帝太爱惜官职，所以失去了人心，给他人一个虚官换取人心，这胜于用兵。李渊的政治头脑不得不让人佩服。
正午时分，李渊召见霍邑官吏百姓，命李世民打开霍邑粮仓，将粮食分发与霍邑百姓。自此霍邑百姓见了李渊的唐军，无不拍手称赞。
命刘文静李天河从霍邑选壮丁入军，这些霍邑百姓得了李渊好处，那些壮丁纷纷前来报名。知道跟着李渊有饭吃有官当，一时间唐义军竟扩充至四五万人。
然后李渊率大军继续攻打临汾，临汾郡没怎么抵抗就投降了。
坐稳了临汾郡以后，李渊又命大军攻打绛郡，命李世民李建成并参军李天河为前部先锋，李渊自率大军为后军。
绛郡有一守将名陈叔达。乃是南北朝时陈高宗之子，颇有才学，唐军入城下，一开始也不降。绛郡巴掌大的地方，李世民便命令唐军把绛郡围起来。
一连围困四五日，陈叔达一看没办法，只得献城投降。
陈叔达颇有才学，治下之郡百姓安乐，归顺李渊后李渊爱其才学被封为丞相主薄，汉东郡公。
此时，李渊已经占领大半山西，准备聚集大军向关中进发。
