１９２６年起，任中共兩廣區(qū)委委員、區(qū)委監(jiān)察委員會書記。１９２７年黨的八七會議后，任中共廣東省委常委兼省革命軍事委員會主任、中共中央南方局委員。同年１２月參與領(lǐng)導(dǎo)廣州起義，負(fù)責(zé)總指揮部參謀團(tuán)的工作，并在一線指揮戰(zhàn)斗，曾率領(lǐng)敢死隊(duì)攻下了當(dāng)時(shí)敵人重要據(jù)點(diǎn)廣州市公安局。廣州起義成立了廣州蘇維埃政府，張?zhí)兹握飨瑮钜笕握C反人民委員。張?zhí)谞奚螅瑮钜蟊蝗蚊鼮閺V州蘇維埃政府代主席。起義失敗后，他積極組織退卻，做了大量的善后工作。

１９２８年７月，楊殷在中共六大上當(dāng)選為中共中央政治局候補(bǔ)委員、候補(bǔ)常委，任中共中央軍事部部長。會后，他從蘇聯(lián)回國到上海。同年１１月起任中央政治局委員、常委。１９２９年１月起任中共中央軍事部部長、中共中央軍委委員、中共中央軍委主任兼中共江蘇省委軍事部長。在上海工作期間，他與周恩來、蔡和森、蘇兆征、李立三等領(lǐng)導(dǎo)人一起，經(jīng)常研究部署各地的武裝斗爭和紅軍的領(lǐng)導(dǎo)工作。他曾親自到山東、安徽、江蘇等地，指導(dǎo)武裝斗爭，建立和發(fā)展革命武裝，嚴(yán)懲出賣革命的叛徒和內(nèi)奸，回?fù)魢顸h特務(wù)的暗殺和破壞。