蔡万霖身高160公分，方脸大头，其貌不扬，1924年11月10日生，排行第三，出生时，正值细雨蒙蒙，滋润大地，由此得名。8岁时跟蔡万春到台北谋生，小学毕业后，进入台北一家夜校，白天打工，晚上读书，完成高中学业。
当时的蔡万霖非常注意招工广告，并不断应征，也不断失败。一次，他在火车站看到日本轮船公司台北分公司的招工广告，便兴冲冲地去应征，由于个子太矮，没有被录取。蔡万霖继续努力寻找工作，好不容易在一家砖瓦厂找到一份苦工。他非常珍惜，不怕脏不怕累，获得较高的薪水。老板认为他个子虽然矮，但是很有个性，将来大有出息。
随后，蔡万霖帮哥哥开酱油厂，贩卖大米，开始了商场生涯。在与蔡万春打天下时，他是谋士型人才，不爱抛头露面，常在背后出主意，在家管账。弟弟蔡万才说他：“人家欠我们多少钱，我们欠人家多少钱，蔡万霖都记得清清楚楚的。”
分家后，蔡万霖脱颖而出，一枝独秀。
他得到国泰人寿、国泰建设、三井工程和国泰汽车等4大企业，以国泰人寿保险为核心组成“国泰人寿集团”，后来改组叫“霖园集团”。1979年底，蔡万霖的集团资产总额168亿台币，营业收入119亿台币，是台湾大财团之一。他的企业数量不多，但每个都是盈利的企业，在分家后不到10年内，发展成为台湾第一大财团。
国泰人寿保险公司成为蔡万霖的聚宝盆，是扩大集团力量的金母鸡，公司势力遍及台湾每个角落，拥有180幢房子，年租金达数十亿元。1992年，资产总额3478亿元台币。1995年，资产总额增加到5683亿元台币，相当于台湾财政总预算的1/3.该保险公司股票是证券市场的“股王”，股价曾达到每股1 000元台币，是台湾最大的上市公司，市值58亿美元。国泰人寿是蔡万霖最赚钱的事业。
国泰建设是“霖园集团”第二大主力上市公司，龙头股，是台湾资本额最大、员工最多的建设公司，营业额一直名列建筑业的前3名。1981年，受世界经济不景气的影响，台湾的许多建筑公司纷纷倒闭。蔡万霖却能审时度势，采取特惠购房等办法冲出逆境。1987年，该公司营业额55.9亿元台币，仍居台湾同行业榜首。1992年，资产总额237亿元台币，势力更加膨胀。
1987年，美国《福布斯》杂志报道：在全球拥有10亿美元以上资产的145人大富豪中，台湾上榜的有王永庆、蔡万霖和张荣发3人，其中王永庆与蔡万霖的资产均超过20亿美元。1988年，该杂志列出蔡万霖的资产56亿美元，名列世界10大亿万富豪第8位，全世界最富有的华人。次年，个人资产 90亿美元，上升到第6位。3年内，财富增长速度令人吃惊。
1993年到1996年，蔡万霖分别以 1400亿、1600亿与 1800亿台币居台湾百大富豪排行榜之首。1995年，其属下的一个上市公司的市值达到56亿美元。
蔡万霖一直热衷公益活动，建立国泰综合医院、国泰人寿慈善基金会与国泰建设文教基金会三大公益事业，受到社会的肯定。
国泰综合医院与台湾大学医学院及附属医院建立了合作关系，拥有650个床位———是台湾著名的大型医院，曾获得金字招牌医院的荣誉。
国泰综合人寿慈善基金会设立了各种奖项，包括急难救助、残障福利捐助、大学奖学金等，到1996年，累计捐助5亿元台币。
国泰建设文教基金会，对各项文教活动捐款，如建立了“台北名人”等12个霖园图书馆，提供东吴大学霖园学术研究奖学金、赞助天主教兰阳青年会，举办儿童才艺选拔赛等活动。
企业成就与公益事业的成绩，使蔡万霖受到国际社会的肯定。1980年10月，他荣获美国纽约圣若大学授予的名誉商学博士学位。1993年2月，教皇若望保罗二世向他颁赐“对思维”爵士勋章，表彰他多年来赞助“兰阳舞蹈团”的行动。
1991年，蔡万霖辞去国泰人寿等公司的董事长职务，家族企业的经营由第二代掌管，只任国泰人寿的名誉董事长与三家公益事业的董事长。
蔡万霖拥有庞大的房地产是财富增值的原因之一。由于蔡家公司多，在台湾各地有大批楼房与地产，其拥有的土地面积使蔡家不经营企业，单靠土地就可以成为亿万富翁。
在经营国泰人寿保险公司时，蔡万霖有过人之处，他提出的“争取人人保险、家家幸福”的口号风靡台湾。为了提高服务品质，从1986年起，蔡万霖拿出50亿元资金向保险户提供贷款，开创了保险的新举措。为了吸引大家投保，他还保证：公司的投保人因生病到国泰医院治疗，可以享受优惠。他还将寿险的品种扩大，开办台湾寿险业第一家投保户创业贷款及工商企业贷款。为了调动职工的积极性，凡公司的员工可以分红认股，按员工的年资、职位配发股票等等来分享红利。
蔡万霖对公司巨额的营业额采取分散经营方式，以降低风险。所得资金1/3用于贷款，赚取利息；1/3投入股市，赚取可观的利润；1/3投入房地产。
他将类军事化的管理方式运用到国泰人寿保险公司中，公司组织严密、权力集中、向心力强，每天早上8点半，各分支单位都要做早操、喊口号，高唱“国泰之歌”等。
“霖园集团”在保险业方面受到有关当局的保护，享有一定的金融特权。在台湾各行业急速成长、急需资金周转时，蔡万霖以多渠道的集资和快狠稳的作风，处于供不应求的有利地位；加上当局缺乏合理的土地政策，更使“霖园集团”拥有庞大的房地产优势，造就了“富可敌国”的条件。
在长期的创业与经营过程中，他分析了自己的成功因素，除了生活严谨、自奉节俭、理财有方外，特别强调了领导人的协调因素。他说：
“一个得力的领导必须擅长兼顾两头：最高层次上的创新思维和最一般层次上的具体行动。”
