同年10月，起義南下部隊一部由朱德率領到達贛南會昌一帶，李碩勛受朱德委派，赴上海向黨中央請示工作。他日夜兼程，風餐露宿，到達上海向黨中央匯報了南昌起義軍在贛湘粵邊艱苦轉戰的情況。后被黨中央留在上海從事黨的白區工作。1928年4月，被黨中央派到武漢工作，因被敵人注意無法與黨組織接頭而返回上海，先后被任命為中共江蘇省委秘書長、中共浙江省委常委、省軍委書記，后又任浙江省委代理書記。1929年春再回上海，任中共滬西區區委書記。同年秋改任中共江蘇省軍委書記，和省委書記李維漢一起領導江蘇的武裝斗爭，發動和領導了蘇北的農民起義，把蘇北南通、海門、如皋、泰興等地的農民武裝統一改編為中國工農紅軍第14軍。1930年任中共江南省委（江蘇、安徽、浙江和上海市）軍委書記。

1931年5月，中央決定調他去中央革命根據地任紅7軍政委，他愉快地接受任務，取道香港，轉赴紅七軍。當時，中共廣東省委設在香港，迫切需要大批干部。為此，省委特別請求中央把李碩勛留在廣東省委。中央遂任命他為廣東省軍委書記。同年7月，他在去瓊州（今海南島）檢查指導工作途中，因叛徒出賣，不幸被捕。

在獄中，敵人對他用盡酷刑，妄圖從他口中掏出黨的機密。但他忠貞不屈，不論敵人如何嚴刑拷打，除了“我是共產黨員”的回答外，沒有讓敵人得到一絲一毫的東西。敵人打斷了他的腿骨，打爛了他的皮肉，但摧不垮他的浩然正氣。他在獄中給妻子趙君陶寫信，表達了視死如歸的英雄氣概和對妻兒的至深情感、無限期望。

1931年9月中旬的一天，李碩勛被國民黨反動軍警押出監獄。由于他的腿骨被打斷，不能行走，敵人用竹籮把他抬到刑場。這位鐵骨錚錚的共產黨員慷慨赴死，從容就義，年僅28歲。新中國建立后，朱德為烈士題跋：“碩勛同志臨危不屈，從容就義，是人民的堅強戰士，黨的優秀黨員。”