陈云返回家乡后，决定从传达党的"八七会议"精神，重新建立党的组织，恢复和发展农会工作入手，逐步推动其他工作的开展，为发动武装起义做准备。他联系上了出狱后仍在青浦地区开展地下斗争的中共黄渡特别支部书记夏采曦，召开了东乡党员会议。在会上，陈云传达了党的"八七会议"精神和江苏省委的指示，分析了发动青浦秋收起义的有利条件和行动策略。陈云认为，青浦地处苏州、嘉兴、上海三角地带的中心，位置十分重要。青浦东乡与岗山、嘉定相接，东乡农民的抗租斗争如能和嘉定外岗地区农民的"五抗"斗争联合起来，则可切断沪宁铁路，支援苏州、无锡地区的农民暴动；青浦西乡的小蒸，紧靠沪杭铁路一侧，是松江、金山、青浦三县交界处，如能和松江、金山农民斗争连成一片，就可切断沪杭铁路，支援浙江及浦东地区的秋收暴动，并可以配合上海的工人运动。会议经过讨论，大家对陈云的分析表示赞同，决定从东乡的观音堂和西乡的小蒸入手，发动农民开展抗租斗争，进而组织农民进行暴动。

会后，陈云来到小蒸，同当地的共产党员一起，为发动秋收暴动做准备工作。他们白天和农民一起劳动，晚上进行积极串联，向农民宣传抗租的意义和翻身闹革命的道理。一开始，他讲些大城市的见闻，讲一些历史故事。陈云将小时候听说书先生讲评弹故事的技巧用到了向农民宣讲革命道理的工作上来。由于他讲得绘声绘色，乡亲们听得津津有味，参加的人越来越多。然后，陈云再讲农民的切身利益问题，讲地主剥削、官府压迫，启发农民的觉悟。接着又讲道：地主怎样剥削农民，有多少种方式；究竟是农民养活了地主，还是地主养活了农民；农民为什么会世代受苦。他说：农民贫困的根源是没有土地，被迫租地和借高利贷。农民只有组织起来，同地主豪绅斗，打倒地主豪绅，实行耕地农有，进行抗租抗息斗争，才能有饭吃，有衣穿，挖掉穷根。陈云还经常利用农民上街赶集、到庙会祭神的机会，向农民发表演说，集中宣讲革命道理。

在农民觉悟逐渐提高的基础上，陈云着手恢复了农会组织，并发展其中的积极分子加入党组织，领导农民抗租抗税。1927年11月，江苏省委任命陈云担任中共青浦县委书记，下辖小蒸、枫泾、观音堂三个区委，统一领导青浦县的农民运动。农民抗租抗税斗争的不断高涨，使得地主无法收到租税。他们便请求官府出面，用武力迫使农民交租。为了巩固农民已经取得的抗租成果，陈云决定组建农民武装，发动农民进行暴动。

他带领农民军处决了7个罪大恶极的地主豪绅，但对团防局（地主武装）却采取了缴枪不杀的政策，既避免了硬拼带来的损失，又有利于对地主豪绅进行分化瓦解，并在打击地主豪绅气焰的同时，削弱了地主的力量，农民武装也得到了壮大。在小蒸抗租斗争结束后，陈云又转到江浙交界的枫泾一带领导农民暴动。搞农民暴动随时都有可能付出牺牲，陈云却以高度的革命乐观主义精神勉励同志们说：吃官司是到外婆家走亲戚，枪毙是告老还家，有何可怕呢？

1928年夏，陈云组建了中共松浦特委，领导了奉贤县的农民暴动。1929年，他担任江苏省委沪宁巡视员，两次到苏州、无锡、镇江、南京等地巡视，并亲自领导了天宁寺的抗租斗争。不久，陈云进入中共江苏省委工作，先后任省农委委员、农委书记、江南省委常委兼组织部部长等职。由于在领导农民暴动和发动工人运动中所表现出来的杰出组织才能、坚定沉着的意志品格、不怕牺牲的非凡胆略，再加上工人出身的有利背景，陈云在1930年9月召开的党的六届三中全会上，被选为中共中央候补委员，开始进入中央领导层。1931年1月，在党的六届四中全会上，陈云又当选为中共中央正式委员。