１９２７年４月，國民黨蔣介石背叛革命，發動四一二政變，轟轟烈烈的大革命遭到失敗。在中國革命的緊急關頭，張太雷先后出席黨的五大和八七緊急會議，當選為中央委員、中央政治局候補委員、改組后的中央政治局臨時常委會委員。

八七會議后，中央派張太雷到廣東工作，擔任中共廣東省委書記兼廣東省委軍委書記、中共中央南方局書記兼南方局軍委委員。８月下旬，張太雷一到廣東，立即傳達八七會議精神，研究制定廣東全省的暴動計劃，并決定成立暴動領導機構，同時改組了廣東省委。９月到潮州汕頭一帶組織群眾接應南昌起義軍。１１月到上海中共中央參加制定廣州起義計劃，下旬回到廣州主持武裝起義準備工作，組建了廣州起義指揮機構——革命軍事委員會，擔任總指揮。張太雷接連組織召開省委會議和工農兵代表會議，研究確定起義時間、行動部署、政綱、宣言以及起義后建立蘇維埃政府等事宜。

正當準備工作緊張進行之時，起義消息泄露。張太雷當機立斷，于１２月１０日召開省委緊急會議，決定提前一天起義。１２月１１日凌晨，國民革命軍第四軍教導團全部、警衛團一部和廣州工人赤衛隊七個聯隊以及市郊部分農民武裝，聯合舉行武裝起義。經過幾個小時的激戰，起義軍占領廣州絕大部分市區。在張太雷主持下，成立廣州蘇維埃政府，張太雷任代理主席、人民海陸軍委員。這是黨通過暴動建立的第一個城市蘇維埃政權。