林祥谦于1892年10月19日出生于福建省闽侯县尚干镇一户贫苦的农民家庭。祖父林发舒，辛劳一辈子，只给子孙留下一间破房和五分四厘薄田。父亲林其庄，是马尾造船厂锅炉工。母亲翁氏，是个勤劳能干的农村妇女，操持一家的生活。
林祥谦从六岁起开始就随母亲下地干活，他渴望读书识字，但终年不得温饱的家境使他无法进学堂。每当他从村塾门前经过时，听到那琅琅的读书声，总是不由自主地停下来，在门外静听片刻，还默默地跟着朗读。父母看到他这样好学，便想方设法凑足交学费的谷子，把他送进了学堂。林祥谦非常珍惜这个难得的机会，他学习用功，但只读了一年多，因家境日贫而停学务农。
林祥谦的家族是尚干镇林氏世系中一支赤贫的弱房，每当祭神拜佛或逢年过节，常因捐不起钱，送不足礼，而被宗族头子们欺压凌辱。有一年的正月十四晚上，轮到林祥谦这一家族为祖宗“伴夜”，按规定要摆香炉、点蜡烛，请戏班子来唱戏。由于他们穷，请不起好的戏班子，宗族的族长就辱骂他们给祖宗丢脸。童年的林祥谦对此表示了极大的愤懑与不平。
尚干镇地处闽江下游。林祥谦童年时，这一带不仅深受腐朽的清王朝的残酷统治，而且屡遭外国侵略者铁蹄的蹂躏。这里的人民，有着反抗压迫、反抗侵略者的光荣传统。每当夜晚，林祥谦总喜欢跑到村边的大榕树下，听大人们讲述乡民中涌现的爱国反帝故事。其中对林祥谦影响最深的，是中法马江战役中家乡人民的抗法斗争。那时，尚干人民自动赶往马尾参战，据传还击伤了法国侵略军头目孤拔乘坐的旗舰。先辈们的这些英勇事迹，给林祥谦以深刻的教育。
林祥谦小时候就是一个见义勇为的好孩子。1904年端午节，家乡淘江两岸挤满了观看赛龙舟的人群。突然一个小女孩掉下江去。年仅十二岁的林祥谦，毫不犹豫地跳进江里。当他把那个眼看就要被江水吞没的小女孩托出水面，并在别人帮助下救上江岸时，人们齐声称赞他是勇敢的小英雄。
1906年，林祥谦一家生活更加难以维持，他的父亲变卖家当，四出借款，筹集了一百元的保证金，又托人找了两家“铺保”，具写“甘结”，把林祥谦送进船厂当学徒。当时，林祥谦只有十四岁。他的身子比钳床工作台高不了多少，只好站在废料箱上操作。工厂的劳动条件很差，更谈不上有什么劳动防护设施。林祥谦和工友们早上5点多进厂，下午6点多下班，一天劳动十二个小时，收入却十分低微，寒冬腊月到了，还穿着单衣，光着脚板干活。
林祥谦和工人们都住在“考工所”里。这是全厂最潮湿、最肮脏的低洼区，一排排泥墙紧挨在一起，每间狭小的房子里要塞二十个铺位，工人们挤着睡，连翻个身子都很困难。工厂里的监督、监工、领班都由洋人充任。清政府还在厂里驻扎军队，象对待囚犯一样监视着工人，随意打骂和关押工人。一天，林祥谦和另一个徒工被派去抬运钢板。十几块钢板摞在一起，压得这两个未成年的学徒工气喘不得。他俩刚坐下来歇息，就被监工狠狠揍了一顿鞭子。打这以后，林祥谦和工人们经常用怠工的方法进行斗争，以示反抗。只要工头不在场，他们就歇手不干。
林祥谦聪明好学，进厂二、三年就掌握了钳工技术，但因他为人正直刚强，凡事主持公道，爱打抱不平，得罪了工头，干了五年还转不了正式工。那时物价上涨，工厂大批解雇工人，林祥谦和他的父亲也不得不另谋生路。
1912年初，林祥谦只身离开马尾来到汉口江岸。在妹夫周连城和几位福建老乡的帮助下，他借了一笔钱买成礼物送给工头，并找到“铺保”，经技术工种考试，被江岸铁路工厂录用。
1922年冬，林祥谦返回家乡尚干，和邻近的大义乡贫农女儿陈桂贞结了婚。这时，他的父亲林其庄也被马尾造船厂解雇了。他便带着父亲、妻子和二弟元成一起到江岸谋生。在亲友和同乡的帮助下，父亲进了江岸机厂当锅炉工，二弟到信阳火车站做升火工，林祥谦仍在江岸工务修理厂当钳工。他们全家住在福建街一间低矮破旧、阴暗潮湿的茅草房里。
当时，铁路工人的工资也是非常微薄的。林其庄父子三人的劳动收入仅能勉强维持一家四口的生活，加以林祥谦经常把工薪拿去资助其更穷困的工人，家里经常瓜菜当饭，一天两餐。
林祥谦所在江岸机厂，是法国人开办的。工人们一踏进工厂大门就好象进了监牢，完全丧失了人身自由。每天工作十二个小时，伤病假不发工资，每月初一、十五两个休息日也不发工资，稍不留意或丧失劳动力，就被洋人资本家踢出工厂。厂方的大小头目，还对工人敲诈勒索，强迫工人送礼，甚至巧立名目扣发工人的工资，打骂工人更是司空见惯。林祥谦为了维护工人的权利，改善工人的劳动条件，提高工人的劳动收入，和工友们曾多次开展小规模的罢工斗争，并用怠工的办法来对付工头的压迫。但是，这些仍无法改变工人的政治地位和经济地位。
1917年秋，林祥谦的母亲因劳累过度，贫病交迫，离开了人世。林祥谦忍着悲痛，回家料理丧事后又重返江岸。这时，开始他努力探索着改变工人处境的道路。
十月革命一声炮响，给中国工人阶级带来了希望。中国共产党诞生后，成立了领导工人运动的总机关——中国劳动组合书记部，创办了《劳动周刊》，在工人中进行广泛而通俗的马克思列宁主义宣传教育。武汉地区党组织很快地发现并及时地培养了富有反抗精神、在江岸铁路工人中有威信的林祥谦。
林祥谦阶级觉悟提高很快，在党的领导下更积极地从事工人运动，参与筹组江岸工人俱乐部，并当选为干事；协助举办工人夜校；领导工人进行了一系列斗争，迅速成长为工人阶级的先锋战士。1922年夏天，他光荣地加入了中国共产党。
1923年2月1日，京汉铁路总工会在郑州隆重举行成立大会。郑州警察局长黄殿辰奉军阀吴佩孚、萧耀南之命，宣布全市戒严，并派出大批军警，荷枪实弹，三步一岗，五步一哨，如临大敌。但是代表和来宾们毫不畏惧，整队向大会会场普乐园戏院前进。当反动军警强行阻拦时，代表们又在林祥谦、项德隆、施洋等的带领下，勇敢地突破敌人的防线，冲入会场。在一片口号和欢呼声中，宣告了京汉铁路总工会正式诞生。
但是，敌人并不甘心失败，他们砸坏了各单位赠给大会的匾额和各种礼品。当天下午，又派出反动军警占领总工会会所。驱逐工作人员，查抄总工会的文件材料，甚至代表们的住地也被包围和监视。当晚，总工会召集各分会负责人的秘密会议，一致决定向反动当局提出撤革赵继贤、黄殿辰，赔偿损失等五项要求，如两天内不答应，将实行全路总同盟罢工。会议还决定将总工会迁到江岸，并组织了总罢工委员会，指定了各分会的罢工负责人，林祥谦被指定为江岸地区罢工总负责人，他于当晚搭车南下，赶往江岸。
第二天，江岸分工会召开会员大会，林祥谦当众怒斥军阀迫害代表，破坏总工会成立大会的种种罪行，宣布京汉铁路总工会已在激烈的阶级大搏斗中诞生。并传达总工会关于发动全路总同盟罢工的决定，号召工人积极投入反对军阀暴行的斗争。这时，全场群情激愤，决心为争自由、争人权而战。
会后，林祥谦和他的战友们紧张地进行罢工的各项准备工作。组织了宣传队、调查队，扩大了工人纠察团，同时赶制铁棍、木棒，准备自卫。
4日上午9时，林祥谦接到总工会开始罢工的通知后，立即下达了罢工令。工人黄正兴拉响了江岸机厂锅炉房的汽笛，其他汽笛也跟着怒吼起来，响彻武汉三镇，震撼四面八方。世世代代当牛做马的江岸铁路工人，在林祥谦的指挥下，高擎铁棍、木棒，涌出各厂、段、站，犹如铁流直泻，势不可当。一场在中国共产党领导下的政治大罢工，从江岸开始，沿着京汉铁路向北迅速蔓延，在不到三小时内，胜利地实现了。
5日，湖北督军萧耀南根据吴佩孚的命令，指派督军署参谋长张厚生带着军警来到江岸，佯称要同工会谈判，妄图诱捕林祥谦等领导人。这阴谋被工人识破，未能得逞。张厚生又调来大批军队占领工厂，并先后抓走两名司机和三名纠察团员，强迫升火开车。林祥谦当机立断，先后派出二千多名工人和纠察团前去营救，迫使敌人无条件释放他们。
罢工斗争在继续着，武汉工人和各群众团体，大力声援江岸工人的罢工斗争。2月6日上午，湖北省工团联合会组织二千多名代表来到江岸亲切慰问罢工工人。江岸一万多名群众参加慰问大会。林祥谦在会上感谢各界群众的声援，揭露帝国主义和封建军阀的破坏阴谋，号召工人们加强团结，坚持罢工。会后，林祥谦和著名律师施洋又带领群众举行声势浩大的示威游行，沿途三千多群众自动加入游行队伍。当队伍经过沿江的帝国主义租界时，群众不断高呼：“打倒帝国主义”、“打倒军阀”、“争自由、争人权”等口号，情绪极为高昂。示威游行历经两小时才结束。
2月7日，罢工进入生死搏斗的关头。下午，张厚生派警官到江岸分工会，约工会代表于下午5点半在工会会所等候谈判。5点20分，张厚生带着两营全副武装的军队，从江岸车站分三路向江岸分工会包抄。汉口的帝国主义分子也紧密配合，宣布租界临时戒严，甚至派兵登岸，伙同军阀镇压工人。
在这以前，危急情况已经显露，林祥谦请总工会的负责人暂时避开一下，由他和纠察团副团长曾玉良出面对付敌人，并令纠察团作好一切战斗准备。
4点半左右，纠察团员前来报告：张厚生亲自在扶轮小学门口，检阅全副武装的军队，看样子要来包围工会。5点，放哨的工人又报告：几支满载军队的驳船由武昌开来，正在登陆；调查队也赶来报告：一批全副武装的军警正从江岸火车站、三道街、福建街向工会包抄过来。事情已经非常明白，林祥谦果断地命令纠察团副团长曾玉良带领纠察团迎敌。在和敌人英勇搏斗中，曾玉良和三十多名铁路工人壮烈牺牲。林祥谦和六十余名工人在同围捕的敌人搏斗中不幸被捕。
晚上7点多钟，北风呼啸，雪花纷飞，整个江岸笼罩在一片白色恐怖之中。
敌人把林祥谦捆绑在站台的灯柱上。张厚生提着马灯走到林祥谦面前，奸笑地说：“林会长，受委屈了，你现在唯一出路是下令工人赶快上工，这样做，我保有你的好处，不然，你就性命难保。”
林祥谦横眉怒视敌人，不予置理。
张厚生凶恶地命令刽子手先在林祥谦左肩上砍了一刀，然后问：“到底上不上工？”
林祥谦威武不屈地说：“上工要总工会下命令，我头可断，血可流，工不可复！”
张厚生气得面孔铁青，恶狠狠地命令刽子手再往林祥谦身上猛砍一刀。林祥谦血流如注，顷刻晕厥过去。当他从昏迷中苏醒过来的刹那间，骄横的敌人洋洋得意地问他：“现在怎么样？”他又使尽全身力气，高声痛骂敌人：“现在还有什么可说，可怜一个好好的中国，就断送在你们这班混帐王八蛋的军阀手里！”
张厚生被骂得脸色苍白，浑身发抖，未等林祥谦说完，就气急败坏地命令刽子手把他杀害了！中华民族的优秀儿子林祥谦，为了工人阶级和人民大众的解放事业，英勇地献出了宝贵的生命。
