这时，武汉已是一片白色恐怖。他们认识的党员不是被逮捕抓进监狱了，就是被送上刑场了；还有一些是已经在报上登了反共启事的变节者，而这些人已经不成其为党员了。真正的、仍然在进行着革命活动的党员呢？在茫茫人海中却一个也找不到。
天气越来越冷，白色恐怖也越来越严重。到处流传着谣言，说是四川人都是共产党。任启愤对罗瑞卿说，秦汉山部驻在湖南常德。这支部队曾参加过由刘伯承等领导的泸顺暴动，出川后被鲁涤平收编。任认识秦，可以在那里找事做，暂时存身。
于是，罗瑞卿、任启愤即乘小火轮穿洞庭湖经津市到常德。
来到常德后，秦汉山给了任启愤一个差事，对罗却爱莫能助。此时，茕茕孑立的罗瑞卿被困在常德约一个月的时间。不久，他得知任伯芳在澧州由鲁涤平收编的另一支部队里当参谋，便写信给他，随后，罗瑞卿由任伯芳介绍到澧州那支部队的政治部宣传科当科员。
此时，任伯芳也失去了党的关系。1928年夏天，他们商量决定到上海找党。
到上海后不久，罗瑞卿又同任白戈、王义林等相遇。五六个人挤住在田汉举办的南国艺术剧院出租的一个亭子间里，过着有饭大家吃、有钱大家花的“共产主义”生活。
这时，罗瑞卿在军校的同学潘先知等人看到他大病初愈，衣食无着，便劝他投靠由汪精卫、陈公博等人组织的国民党改组派，被罗瑞卿拒绝了。