长征开始后，陈云受命担任红五军团的中央代表，担负着为中央红军实施战略转移的殿后重任，中央代表实际上握有一切重大行动的最后决定权。严谨细致的工作作风，有条不紊的办事风格，指挥若定的组织才能，善于做思想工作的过人魅力，让陈云这位从未在军队中任过职的领导人，获得了充分展示才能的机会，也由此引起了毛泽东等主要领导人的注意。红五军团在陈云等的坚强领导下，虽然付出了惨重损失，但总算渡过了湘江，完成了组织上交给他的艰巨任务。陈云接受任务后，并没有马上行动。这时，他又接受了担任渡江司令部政委、组织巧渡金沙江的重要任务。毛泽东、朱德、周恩来等也来到现场，就地指挥。当时红军只有不到10只木船，要将数万军队抢在敌人赶到之前顺利渡过去，是一个不小的政治任务。

部队开始渡江后，陈云坐镇渡口，对部队谁先谁后作出了统一安排，谁都不准不按命令行事。同时，赶紧找船工，做好安排。那些船工虽然都是穷苦出身，但在国民党统治之下，都染上了吸毒的恶习，一旦毒瘾上来，没有烟土就动弹不得。因此，陈云下令，对船工原来支起的烟锅一律不许动，把从国民党军队那里缴来的大烟土，发给这些船工一部分，再多弄些白酒来，充分满足供应。同时，对这些船工进行教育，晓之以理，动之以情，尽量让他们进行配合。在陈云的严密组织下，做到船工轮番休息，渡江工作昼夜不停，用了9天9夜时间，终于赶在敌人到来之前，将全部红军安全地渡过了金沙江。从此，红军摆脱了几十万敌军的围追堵截，对取得主动，实现战略转移具有决定性的意义。

红军渡江后不久，陈云按照原定计划，在红军到达天全县后，悄悄地离开了长征队伍，由熟悉四川情况的当地地下党员席懋昭陪同，从灵关殿经荥经、雅安到达成都、重庆，随后到达上海。为便于陈云等的行动，红军在灵关殿故意让被俘的天全县教育局长逃走，由他在路上"巧遇"陈云等人，随后在他的带领下顺利地避开了敌人的追击部队。

陈云到上海后，发现上海党组织遭到敌人严重破坏，一时难以接上关系，便去找还是在上海商务印书馆工作时就认识的章乃器先生。通过章乃器，很快见到了章的弟弟、从事党的秘密工作的章秋阳。为安全起见，章秋阳把陈云安排到自己的爱人家里隐居起来。同时，组织上也派了原商务印书馆党员孙诗圃和上海煤炭业店员罗希三，对陈云进行掩护。

在作了这些安排后，陈云一方面通过潘汉年的弟弟潘渭年告诉时在香港的潘汉年立即来沪；另一方面又通过章秋阳找到当时上海临时中央局的浦化人等，了解上海党组织的情况，并着手实施恢复上海党组织的计划。陈云还通过章秋阳找到了瞿秋白的夫人杨之华和何叔衡的女儿何实嗣。她们与共产国际驻上海联络部有联系。但是，不久之后，上海临时中央局、中共江苏省委又一次遭到严重破坏，浦化人等上海临时中央负责人被捕。共青团中央局也遭到破坏。中共驻共产国际代表团了解到上海的险恶形势后，指示陈云以及在上海的其他重要领导人立即前往莫斯科。

当时，前往莫斯科有三条线路：一条是取道哈尔滨，坐火车经西伯利亚前往，但这条线路因东北已被日本占领，很不安全；一条是绕道欧洲，乘船前往，虽很安全，但费用太贵；一条是从上海坐船到海参崴，再转火车到莫斯科。陈云经过考虑选择了第三条道路。

1935年9月，在宋庆龄的帮助下，陈云和陈潭秋、杨之华等躲过敌人的追踪，坐上了一条苏联的货船，辗转来到莫斯科。陈云到达莫斯科后，代表中共中央向共产国际介绍了中国的最新情况，通过陈云的介绍，共产国际领导人更加了解了中国共产党和中国革命的特殊情况，对毛泽东等的了解也更加全面。这对后来共产国际公开支持毛泽东在中共党内的领导地位是有很大关系的。可以说，陈云对确立毛泽东在中国共产党内的领导地位有着直接的贡献。