為適應(yīng)全國(guó)工人運(yùn)動(dòng)日益高漲的形勢(shì)，京漢鐵路總工會(huì)籌委會(huì)經(jīng)過(guò)多次醞釀籌備，決定于1923年2月1日在鄭州召開(kāi)京漢鐵路總工會(huì)成立大會(huì)。2月1日清晨，鄭州全城戒嚴(yán)。反動(dòng)軍警荷槍實(shí)彈，如臨大敵。面對(duì)全副武裝的敵人，林祥謙和代表們毫不畏懼，沖破軍警的包圍圈，進(jìn)入會(huì)場(chǎng)。在一片歡呼和口號(hào)聲中，宣告京漢鐵路總工會(huì)正式成立。

反動(dòng)軍閥吳佩孚、蕭耀南對(duì)此感到無(wú)比恐慌和仇恨。當(dāng)天下午，他們下令反動(dòng)軍警占領(lǐng)總工會(huì)會(huì)所，驅(qū)逐工會(huì)工作人員，查抄總工會(huì)的文件材料，砸壞各單位贈(zèng)送給大會(huì)的匾額和禮品，甚至包圍和監(jiān)視代表們的住處。當(dāng)晚，林祥謙參加了總工會(huì)召開(kāi)的緊急會(huì)議，決定向反動(dòng)當(dāng)局提出五項(xiàng)要求，限48小時(shí)內(nèi)答復(fù)，否則將于2月4日舉行全路總同盟罷工。會(huì)議決定總工會(huì)移到江岸辦公，同時(shí)成立總罷工委員會(huì)，林祥謙被指定為江岸地區(qū)罷工總負(fù)責(zé)人。

第二天上午，林祥謙回到江岸，隨即召開(kāi)會(huì)員大會(huì)，傳達(dá)總工會(huì)關(guān)于發(fā)動(dòng)全路總同盟大罷工的決定，號(hào)召工友們用最大的力量反抗軍閥的暴行。接著，林祥謙帶領(lǐng)工人們組織宣傳隊(duì)，貼標(biāo)語(yǔ)、發(fā)傳單，揭露敵人罪行；成立調(diào)查隊(duì)，了解掌握敵人動(dòng)態(tài)；擴(kuò)大工人糾察隊(duì)，同時(shí)趕制鐵棍、木棒，準(zhǔn)備自衛(wèi)。2月3日晚，罷工的各項(xiàng)準(zhǔn)備都已就緒。

2月4日上午9時(shí)，林祥謙接到總工會(huì)關(guān)于罷工的指示后，下達(dá)了罷工令。隨著第一聲汽笛的拉響，江岸機(jī)車廠所有的汽笛同時(shí)怒吼，響徹武漢三鎮(zhèn)。京漢鐵路全線所有的客、貨、軍車一律停駛，震撼中外的京漢鐵路工人大罷工開(kāi)始了。這次大罷工從政治、經(jīng)濟(jì)上沉重打擊了帝國(guó)主義和反動(dòng)軍閥。2月6日下午，漢口美、英總領(lǐng)事召集中外買辦資本家進(jìn)行密謀策劃，并向北洋軍閥政府施壓。吳佩孚勾結(jié)帝國(guó)主義，決定對(duì)罷工的京漢鐵路工人進(jìn)行殘酷鎮(zhèn)壓。