身为大军区的军事主官，抓好部队军事训练，是黄永胜的本行职责所在。根据战争时期积累的经验，黄永胜认为，部队战斗力的养成在上面和下面两头。上面是指抓好部队的领率首长以及领率机关，比如司令部的训练，抓好合成演习；下面则是指抓好基层连队和基础战术、技术训练。
黄永胜是从一名士兵循一级一级军事岗位，升到大军区司令员职务的，扎实的作战实践功底和部队各级指挥技巧，都是他十分内行的本领。他认为要当好一个大军区首长，抓好几十万人马的合成军兵种训练，光靠过往的自身经验决不足够。首先，他从自身抓起，重视军事理论和新的军事科学技术学习。为此，从五十年代初期他就努力学习文化，提高自身素养。他请了专门的文化教员，每周定时到家中，利用业余时间学习数理课程。他主动要求到北京高等军事学院深造了两年。他抓基层训拣，以细着称，创造了“大首长抓小科目”的经验，在全军都有很大反响。
1962年5月，军区在衡阳车江139师营房举办干部集训，参加集训的有军、师、团三级主官和军、师作训处长、科长共247人，主要研究学习“五大技术”和分队实弹战术训练，以及连队行政生活管理等内容。1963年2月，军区又在粤东揭阳馒头山123师营房集训军、师、团级干部l56人，重点是学习研究夜间科目。这两次集训，参训人员都按连队编组，军长当排长，师长当班长，团长当战士，黄永胜则亲自任连长，亲自组织教学，亲自授课。集训队严格按照连队行政制度生活，组织对连队主要生活制度进行示范，然后贯彻执行，随时检查纠正。从着装到一日生活制度，都按连队要求，过连队生活，学习连以下课目，做战士动作。他这个临时连长处处做出榜样，严格遵守连队生活制度，和大家一起起床出操，一起吃饭生活，一样严整军容风纪，束腰带，服装整齐。训练中，一起进行各种课目。他不仅告诉大家怎样做和为什么这样做，还能做出准确的示范，使参训人员心服口服。他还担任一些课目的讲授和示范。
集训期间，他像战争年代一样发扬军事民主，组织战士讲评。发现战士的思想问题，则像连队干部一样深入细致做思想政治工作，还与战士交上了朋友，一时成为美谈。1964年全军军事技术大比武中，广州军区参赛分队和个人取得了优异成绩。在他的带领下，广州军区领导班子成员和军区机关重视基层、熟悉基层、习惯于抓基层，成为良好的工作作风，在各大军区中表现出一种突出的特点。
二十世纪六十年代初期，到文化大革命发生前那几年，是全军军事训练抓得紧、抓得好、抓得有声有色的时期，也是广州军区的军事训练抓得卓有成效的几年。黄永胜的身影总是在部队基层的训练场上出现，从一个小动作、一个小细节、一个小战士去抓实训练，抓出成效。以下几个小故事，可窥一斑。
一次，黄永胜在124师372团3连观看班进攻训练。训练结束后他亲自讲评，对于战士们一些不符合实战要求的动作一一指出，予以纠正。他从战士手中接过一支半自动步枪，示范如何利用地形地物接敌，占领射击位置、出枪、射击。在示范利用墙角向敌射击时，为隐蔽观察敌情，他把帽檐转到脑后，在场的官兵见之无不抿嘴而笑。他却说不要笑，打仗时如果你的帽檐从墙角露了出去，就会让敌人先发现你，那你的生命就危险了！他做的动作干净利索一丝不苟，大家无不钦佩。后来《解放军画报》发表了他这次训练示范的一组照片。
1962年初，黄永胜在视察某部3营迫击炮连5班射击操作时，发现班长光喊口令，不检查炮手动作；叫二号装药，炮手都只装一个药包；挖炮座盘坑时，炮手不在硬土上作业，却在沙地上挖。他立即把全连干部叫到5班现场，指出训练一定要从难从严，不能走过场。迫击炮连当天就召开支委会、全连军人大会，根据司令员的指示，摆问题，找根源，定措施。此后，连队要求干部做到三点：一是正确作出示范；二是认真检查动作；三是严格纠正毛病。全连苦练军事技术真本领，训练水平蒸蒸日上。
1962年1月，黄永胜在某军蹲点时，一天晚饭后他将参加全军干部大会的团以上干部召集起来，进行识用军事地图考核。每个干部发一张地图，要求在地图上根据出题找座标，识别地物符号，计算地形直高，并判定上下坡路。他一面监考，一面仔细阅卷，最后进行讲评。他特别指出：“每一个部队干部都应该具有必要的军事知识，特别是军事干部，一定要有丰富的军事知识。军事干部不懂得军事基本知识，是不能原谅的。昨晚我在某团一营问一些干部北极星在哪里，有的人就指不出来，还有的人可以按书本上的内容回答，却无法在实践中应用。这就是日常练习不够。北极星的问题以后夜间紧急集合时，就可以顺带叫大家判别一下位置，搞几次大家就会了。”
1962年3月，黄永胜在部队基层亲自组织某部一连反复演练“四组一队”战术。黄永胜发现l连开始演练时，没有集中兵力打击敌要害部位，战斗中，连排干部缺乏具体的组织指挥，爆破组和突击组配合不紧密，战术原有的威力不能发挥出来等问题，就一点一点，一条一条，教给干部战士应该怎样做，仗应该怎样打，详尽地讲解一番。在后面的演练中，他又感到干部在组织战斗时，下达战斗命令的时间过长，语言不简明，直接影响突破时机的掌握和战斗进展；而突破以后，没有迅速勇猛向纵深扩展战果，却以相当兵力包围已被困在坑道口内的残敌，影响后续部队进展。他又马上向干部们指出问题，并和连队干部在现场进行讨论，使他们明白了他指出的问题有什么样的道理。根据司令员的指示，一连将演习场有关地物和工事点进行编号，以简明的军语代替繁琐的口语，使下达战斗命令的时间缩短二分之一。在后续的演习中，一连改变了前面的打法，当突破口附近的工事被我全部摧毁，或敌人的火力点被我压制住的时候，即采用比较密集的三三制队形，以保持强硬的突击力量；敌人如还有残余火力点不断向我冲击部队射击，他们就采用比较疏散的三三制队形以减少伤亡。经过司令员反复指导和全连13次演练，l连熟练地掌握了“四组一队”的战术，干部战士的战术思想和指挥水平有了明显提高。
1964年3月21日，黄永胜来到某海岛守备一连视察工作，训练场上一班正在运用郭兴福教学法演练战术动作。战士郑衔基冲击中眼前出现了靶子，立刻卧倒据枪准备射击，动作很快但不确实。他看到后，就卧倒在郑衔基身边，观察了一下，问道：“你瞄准目标了没有？ ”
郑衔基老实地回答：”没有。”
“你告诉我，靶子代表什么？”
“敌人！”
“那你这样行不行？
“不行！首长同志，我重来一次！”
黄永胜满意地看着郑衔基的战术动作一遍比一遍熟练，高兴地笑了。
接着又发现战士们装退子弹的动作不准确，便亲自作了示范。他告诉连队的干部战士，学习郭兴福教学法，不能只学提问、做手势这些热闹的形式上，要把学习这种教学法落实在解决单兵和班的训练问题上，扎扎实实地一个动作一个动作地练好基础动作，首先是干部们要有过硬的基本功夫。
那些年，军事训练是黄永胜领导下的广州军区的一项中心工作，再来看一下《战士报》有关军区重要活动的报道：
1963年一月，军区召开军事训练工作会议。一月17日黄永胜在《战士报》头版发表署名文章《为什么要大搞训练》。
1963年一月，军区召开参谋工作会议，叶剑英、黄永胜到会讲话。
1963年3月，黄永胜主持召开军事训练座谈会。
1963年3月4日，黄永胜在军区群英会上讲话，题目为《狠抓工作落实，大搞训练，提高战斗力》。
1963年7月19日，黄永胜在《战士报》头版发表署名文章《把郭兴福的教学经验学到手》。之前，6月底，军区特别邀请郭兴福同志率南京军区某部3班，来广州军区作巡回表演，为期20余天，先后到军区部队、机关、军事院校和南海舰队、广州军区空军等单位，做了教学示范表演。黄永胜及军区主要领导均观看了表演，并在全军区范围掀起学习郭兴福教学方法的新一轮高潮。
1963年8月，军区召开军事训练业务会议，黄永胜出席并讲话。
1963年10月5日至16日，军区三手 （指神枪手、神炮手和技术能手）比武大会召开，参加比武的部队代表500余名。比武中，****中央中南局和广东省委的领导陶铸、林李明、张根生、曾生等观看了“三手”表演。黄永胜在会议上作了以《加强全面训练，做到精益求精》为主题的讲话。
1963年10月，军区召开野营训练现场会，通过试验演习、现地研究，为年底即将开始的部队大规模冬季野营训练，作出标杆提供经验，进行动员部署。
1964年2月，军区召开学习郭兴福教学方法评比现场会，总参谋长罗瑞卿视察了会议。黄永胜在闭幕时讲话。2月5日，贺龙、聂荣臻、徐向前、叶剑英4位元帅在陶铸、黄永胜陪同下，接见了学习郭兴福教学方法评比现场会议全体代表。
