在苏联呆过的蒋知道布尔什维克的习惯作法，他怀疑中共是在1926年底和1927年初的北伐战争期间发展起来的。1925年在广州，他曾导演了一次小小的反共行动，即所谓的“中山舰”事件，他深深为国民党内的共产党伙伴日益明显地同苏联勾结而感到烦恼。虽然蒋介石有心向俄国人学习，而且列宁关于党、军队、政府一体化以形成一个中央集权、有无上权威的政体思想，也给予他极深的印象。但是他却不愿看到苏维埃的代理人来管理中国。

中共在上海的活动，特别是公社的建立，进一步证实了蒋介石的担心：激进分子急迫地想要攫取权力。



其实，在上海起义之前的几个星期，在南京，发生了一次激进民众恐吓和抢劫了外国社团的事件。蒋介石和他的保守派同事们深信共产党是这次骚乱的幕后策划者，因为从之后共产国际的代表米鲍罗廷把这次事件视为日益激进的民众姿态便可见一斑了。

鲍罗廷是一个俄国的政治流放者，在印第安纳州的瓦尔帕莱索大学学习过一段时间，并在芝加哥开办过流亡者学校，他在青年时代转向布尔什维克主义，成了一名职业革命家。身为一名组织者，他曾活动于墨西哥、西班牙、荷兰和苏格兰，最后来到了中国。从理论上讲，鲍罗廷是派到国民党阵营来作顾问的，并帮助国民党建立反帝国主义的力量，但他还有个未公开的目的，那就是传播共产主义并在东亚点燃革命的烈火。

中国共产党开始颂扬他，称他为“革命的导师”。

这时，在中国东北发生的一个严重外交事件。1927年4月6日，东北的统治者张作霖，突然搜查了在北京的苏联公使馆。在苏联武官办公室找到的一份文件，披露了共产国际的一些隐密目标。同时逮捕了正躲在苏联公使馆内的北京大学教授和华北最著名的共产党领导人李大钊，后被张作霖绞死，他成为第一个著名的共产党烈士。李大钊在苏联公使馆的出现增加了温和与保守的国民党人的恐惧心理，他们害怕苏联、国民党左派和共产党正在密谋夺取权力。

蒋介石当时住在上海法租界一幢别墅里，共产党对他的威胁正在日益增长。但是在上海附近能调动的部队只有3000来人，所以在那时蒋介石所能做的非常有限。

他大部分军队都在千里以外，随着共产党唤起的暴动之后，南京正在恢复秩序。

蒋介石要谋求上海下层社会能量非凡的强人杜月笙的支持。

现在老蒋找到他，杜月笙很快就下了决心。

老蒋想：现在是清洗的时候了。

1927年4月12日的早晨，数千名杜月笙的青帮恶棍，身穿蓝色工作服，戴着有“劳工”字样的白色臂章，潜入公共租界，开始进攻属中国管辖部分的共产党的各个据点。

中共并不完全感到出乎意外，这段时间以来，他们和国民党之间的紧张气氛一直在增加，而且在帮会当中他们也有自己的人脉。尽管如此，由于匪徒袭击的时间选择和行动的迅速，中共的组织很快就被击垮了。在闸北的军事据点，商务印书馆和湖州会馆等一批较大的目标都被孤立和包围。


许多中共党员在战斗中被打死，更多的人是当一队队暴徒和国民党士兵巡视街头搜索共产党激极分子时被随意屠杀。在清洗这个城市的时候，蒋介石的人马没有忘记上海大学，国民党军队进入当时已迁出闸北、转移到更远的北区江湾的薪校址，杀害了大批学生。随后，国民党宣布关闭了这所大学。

周恩来后来声称有5000名共产党员在4月12日或以后几天内被杀害。上海市警察局报告说400百个工人被打死，亦有人估计人数在600百和700百之间。

许多共产党领导人被杀害了。包括赵世炎、汪寿华和党的总书记陈独秀的儿子陈延年，但是有些人还是侥幸逃到这个城市之外的安全地带，或者躲进了外国租界的秘密住宅里。同许多工人一起陷在商务印书馆内的周思来特别幸运，包围商务印书馆房子的国民党指挥人白崇禧的兄弟。在黄埔军校时，他曾是周恩来的学生，年轻的军官认出了他过去的教官，让周恩来同其他四个人一起安全离开了大楼。周恩来立即躲到上海外围的一个藏身处。


康生作为上海起义中非常显眼的前线领导人，本来很容易被捕获的。但偏偏康生就是没有被抓着！！而那次和他进攻火车北战并共进晚餐的郭伯和，就没有他那么幸运了，被逮捕后还出卖了他的同事们。

4.12清洗结束以后，康生像其他幸存的中共党员一样，被迫过着秘密的、危机四伏的生活。国民党开始无情地追捕转入地下的中共党员，我党后来将这一时期称为“白色恐怖”。上海那些外国的租界当局，起初被工人起义给吓倒了，其后开始开始同国民党合作，并把其中许多人引渡给国民党当局。


而后许多共产党人都暂离了上海，但是康生留下了，他开始学习如何在一个黑暗和危险的世界里生存。对于像康生这样骨子里就狡猾的人来说，这种环境其实是很理想的，也更能得到锻炼。就是在这种环境里，他将成长为一个在中国举足轻重、需要对手认真对付的人。


一些党员逃往像汉口那样的内地城市，一些到了香港，那儿的英国法律使国民党的特务人员不敢乱来。而许多的共产党员在上海转入了地下，全靠个人的智慧与小心谨慎及伪造身份来保护自己。在这些人当中，包括卓越声望的李立三，他的身份变成了一个古玩商人，还有康生在上海大学的老师邓中夏，邓不得不化装成一个理发师。


康生在法租界继续着他的秘密生活，由于他的机智和对这个城市的了解，加上日趋谨慎和对都市生活方式或世态的熟知，他存活了下来。他熟悉上海的胡同小巷，他了解上海豪华旅馆和大百货商店的进口和出口，他甚至知道不少妓院的秘室。康生把党的地下工作在上海的夜生活里运用自如。当他觉得自己正处于被特务的跟踪中时，他时常会躲避到某个妓院，在那儿他可以消失一个小时或者一个晚上，康生还利用上海为数众多的弹子房和澡堂，作为紧急庇护所和小心谨慎的会议场所。这些娱乐场所一直通宵开放，为党进行秘密集会提供了极好的去处。

潜伏是要智慧的。为了在生活里显得像个普通而正常的人，他的第一个动作是结婚，这样他可以做为普通的已婚男子而被人忽略。因为在那样的特殊时期，一个单身男子很容易令人怀疑。在中共的早期，有点资历的男干部基本都是以已婚形象出现在社会各阶层的，就像电影电视里表现的那样，常有年轻的女党员被指定同他们的某一上级假办夫妻来作为掩护。

康生曾自夸说，没有一个人能够抓住他。就这样过了六年，直到上海变得异常危险，康生才不得不撤退，前往莫斯科。

康生的新婚老婆是和他一起在上海大学的校友，她学习中国文学。新娘原名为曹淑英，后来她把名字改为“轶欧”，她也来自山东，是个当时典型的现代中国女性。

曹轶欧未曾缠过的双脚，在济南享有声望的山东女子学校受过教育。由于接受五四运动激进观点，她在1926年加入共产党。像康生一样，曹轶欧以前也结过婚。

曹轶欧和康生未有过生育，但是他们的关系却比婚姻包含了更多的东西。曹轶欧心理上充分准备好了参与康生的那些最危险的事业，对一个过着秘密生活的男人来说，她是个极相称的伴侣。

结婚1年以后，在1928年年底，康生又一次改名了，这次，他完全去掉了张姓，，以全新的赵容这个名字出现于社会，这是他第一次隐瞒了本家的姓。康生通过介绍，正常应聘，安全地成为上海中华商会会长虞洽卿的私人秘书，开始了他的新身份。

虞洽卿在控制着银行业和船舶航运业，是上海最有影响和最富有的中国企业家之一。他是一个大有争议的人物，是1925年反英罢工运动的主要支持者，身为一个带有民族主义倾向的商人，能够雇用一个来自山东、具有进步倾向的年轻人，这并不出人意外。虞袷卿在上海的社会上享有很高的名望，几度被推选为市民公众代表，同上海市议会谈判协商。他坚定拥护中国利益！有些人怀疑他“同情共产党”。然而他还是旧秩序的一部分。虞洽卿是黑帮老大杜月笙的密友，还是蒋介石的主要财政捐助人之一。

但是虞洽卿雇用康生是因为看重他的书法，而不是因为他的政治倾向。

虞洽卿保持着传统的习惯，爱穿戴传统的长袍马褂。为了同他的长袍马褂的形象相一致，虞洽卿给朋友和生意合伙人的信函都是用毛笔来书写：请帖、拜帖、贺辞、吊唁信。虞洽卿需要一个擅长书法的人，而康生，一个出生于书香门第的孩子，正擅长使用毛笔，而且，确实康生写的一手好字！

此后的康生，一直过着一种双重的生活。在地上，他是个受雇于上海最有钱的商人，是个金领，肯定收入不扉，有漂亮的妻子一起生活在法租界，他的生活方式看上去并没有什么与众不同。在地下，康生和他的妻子却是献身于共产主义的人，而且他还是个地位正在上升的干部，统管着上海大部分的地下党组织。

潜伏在上海大公司的懂事长身边，康生更自由而狂热地工作，在党内扩张他的势力，机会是正有的。蒋介石1927年对共产党的清洗，在中共内部也点燃了派性活动的导火线。关于4.12党的损失，党内有人互相谴责，激烈争论，有些人都把失职之处推卸给自己的对手。比如陈独秀，把这次灾难归咎于斯大林的错误情报及其政策，他并转向托洛茨基，组成了中国的托洛茨基派。一些人对党的领导感到幻灭，他们因而试图建立类似的共产党组织，另有一些人转向了国民党；还有一些人完全厌倦了政治中固有的争吵和危险，反璞归真去了。

康生对党那是不抛弃、不放弃！绝对属于忠诚者之列的。当白色恐怖最危险时期过后不久，中共指挥部从汉口又迁回了上海。康生从派系斗争中充分得益。那时，康生已经完全熟悉了当地的党组织，一旦国民党逮捕或者杀害了资深共产党员，出现一些真空，他就能够利用一切占得优势。

康生的地位迅速窜升。在第3次工人起义时，他只是一个市级组织者之一，而仅2个月以后，他就被提拨为江苏省委员。

康生在基层工作时和第一任中共总书记陈独秀很少接触，陈独秀是个四十八岁的老资格，从1900年起，几乎参加了每一次运动，他在1927年8月被免去了领导人的职位，继任者是瞿秋白。在上海大学时，对康生具有强烈影响的瞿秋白，对革命的观点相对较幼稚，以致他成为总书记统领全党的时间很短，而且他的领导风格过于遮遮掩掩，根本不能给像康生那样的低级干部任何帮助。1928年7月在莫斯科郊外举行的中国共产党第六次全国代表大会上，共产国际的人对瞿秋白盲目搞的几次武装起义所造成的灾难感到失望，撤了他的职。

之后，大会任命了苏联人中意的候选人向忠发为党的新总书记。长江上做水手出身的向忠发，以矿山工人的运动家作为他政治生涯的起点。他的无产阶级出身使他被选中去莫斯科进行培训，在那个时期，他是党的领导集团里少数几个工人之一。

但是向忠发没有什么文化缺乏教养，说话没有方式策略，面对沉闷单调的组织和计划工作，他更喜欢将时间消磨在大上海的舞厅和妓院里。他的不称职正好为别的想要干实事的人留下了一个权力真空地盘，其中最主要的是李立三，一个冲动的积极分子。

李立三于1899年生于湖南的一个地主家庭，他在法国留学了几年，在那儿他同周恩来及其他一些正在欧洲开创中国共产主义运动的年轻人交上了朋友。1921年底，李立三因他的政治观点被法国当局驱逐出境。回到中国后，他以劳工组织者的身份四处活动。到第六次全国代表大会召开的时候，他已经赢得了具有超凡魅力的领袖人物的名声。在莫斯科，他为自己赢得了特别的待遇，那是同斯大林的三次会见。苏联人相信李立三能使中国革命恢复元气，因此共产国际推选他进了政治局，并任命他为中央宣传部部长。

尽管共产国际对他有了良好的印象，但李立三本质上还是一个煽动家。只是他比向忠发更具世界主义倾向，而且更精练，但是他在管理和战略决策上却很差劲。在策划运动的各种具体步骤时，他那热情激昂的浪漫精神反而模糊了对周围形势的认识。他生活在一个想入非非的世界中，幻想革命大潮总是不断高涨。有人说他是“李大炮”。

张国焘回忆说：许多干部都认为李立三是个“自吹自擂者、浮夸的狂热者和鼓吹破坏者。”

在李立三的领导下，本就已经被4.12清洗和霍秋白短暂又不胜任的领导严重损害的中共组织，退化到了很糟糕的状态。党的基层组织开始逐渐萎缩，他们时常得不到上级的指示，即使得到指示也不知道怎么具体执行。有些党的基层组织完全失去了同剩下的地下党组织的联系，因为地点和接头安排都由于混乱而遗弃了，党员人数急剧减少。

李立三的策略甚至也不是新的。尽管被称为“李立三路线”，他的革命纲领也是仿效他前任总书记瞿秋白，片面强调城市的起义和暴动。李立三在他首次执掌权力的1年里，主持的是一条失败的路线。

李立三于1899年生于湖南的一个地主家庭，他在法国留学了几年，在那儿他同周恩来及其他一些正在欧洲开创中国共产主义运动的年轻人交上了朋友。1921年底，李立三因他的政治观点被法国当局驱逐出境。回到中国后，他以劳工组织者的身份四处活动。到第六次全国代表大会召开的时候，他已经赢得了具有超凡魅力的领袖人物的名声。在莫斯科，他为自己赢得了特别的待遇，那是同斯大林的三次会见。苏联人相信李立三能使中国革命恢复元气，因此共产国际推选他进了政治局，并任命他为中央宣传部部长。

尽管共产国际对他有了良好的印象，但李立三本质上还是一个煽动家。只是他比向忠发更具世界主义倾向，而且更精练，但是他在管理和战略决策上却很差劲。在策划运动的各种具体步骤时，他那热情激昂的浪漫精神反而模糊了对周围形势的认识。他生活在一个想入非非的世界中，幻想革命大潮总是不断高涨。有人说他是“李大炮”。

张国焘回忆说：许多干部都认为李立三是个“自吹自擂者、浮夸的狂热者和鼓吹破坏者。”

在李立三的领导下，本就已经被4.12清洗和霍秋白短暂又不胜任的领导严重损害的中共组织，退化到了很糟糕的状态。党的基层组织开始逐渐萎缩，他们时常得不到上级的指示，即使得到指示也不知道怎么具体执行。有些党的基层组织完全失去了同剩下的地下党组织的联系，因为地点和接头安排都由于混乱而遗弃了，党员人数急剧减少。

李立三的策略甚至也不是新的。尽管被称为“李立三路线”，他的革命纲领也是仿效他前任总书记瞿秋白，片面强调城市的起义和暴动。李立三在他首次执掌权力的1年里，主持的是一条失败的路线。

康生没有参加1928年7月在莫斯科举行的全国代表大会，但是李立三的执政促使康生进入党的上层。这次全国代表大会结束几个月以后，康生被任命为江苏省委组织部部长，这是一个主管人事事务的职位，仅次于中共的最高决策层，江苏省委机关是中共最重要的组成部分之一，它监督着共产党在上海和国民党南京范围内的长江下游地区的活动。除此之外，由于中共的最高指挥部是以上海为基地，那么江苏省委的工作成绩就很容易引起高层领导人的注目。

新上任的康生积极地支持李立三，同时把已经接近于瘫痪的基层组级收拢并全力为其工作。将近1929年底，他帮助李立三撵走了其在江苏省委里的对手和异见者。康生对李立三的支持肯定是有回报的，之后，康生被任命为中央组织部的秘书长。

康生开始主管行政工作，包括资金管理和党的档案资料管理。他同时还拥有可以处理那些不服从命令或者疏于安全防卫措施的党员的权力。1930年3月，康生就得罪了一位在苏联受过训的年轻干部，这个人就是王明。因为他公然漠视党的安全防卫程序。

上海市警察局2个月前在一个劳工的秘密集会上逮捕了王明，并把他关老闸捕房。哈瓦那有关系的王明买通了上海市警察局的一名印度巡捕，传递了一封信给中共地下宣传机构的潘问友，让上海市共产国际的人出了几千元用作贿赂，王明最终被释放了。王明的这种行为很容易危及党的组织，政治局决定惩戒王明，因为他“缺乏政治警惕性并严重违背了秘密工作的纪律。”可是王明并没有因此而长记性，相反，在四个月以后的一次会议上，他还公开猛烈抨击李立三的政策；政治局最后决定暂停他的党员资格，留党察看六个月。在这两次事件中，康生都是负责惩戒王明的执行者。

康生在上海派系斗争里如鱼得水，他渐渐进入环绕在李立三周围经过挑选的高层干部圈。但是，在这种机会遍地的环境，同时也面临着死亡的危险。1930年，康生还是在党的一次会议时被捕了。

但幸运的康生总被老天眷顾，同他一起被捕的党员中有一个叫丁基实的，其叔叔丁维汾，是出身名门的国民党元老。由于巧合，丁维汾来自日照，一个位于杀机四伏山东海岸线上的村庄，离康生的家乡大台庄不远。

当时的丁维汾担任南京中央党校校长，负责培养国民党干部。丁维汾在学校的助手之一是陈立夫，由于陈立夫的帮助，丁维汾使丁基实和他的几个朋友们得以释放，其中就有康生。之后丁基实匆忙出国，前往德国学习，而康生则仍然回到了共产党的地下组织继续工作。

尽管康生的释放有丁维汾的说情，康生的这次脱险仍有密团。按照曾在1933年被国民党秘密逮捕并叛变的中共党员卢福坦的说法，康生在这次被捕期间是有叛党行为的。

康生担心那些对他不利的言论，不论真假，会泄漏出去，他因而尽力对他的被捕保密。事实上，从那以后他一直不承认有这事，1968年来自台湾的一篇报导中声称“康生曾在上海被捕，旋即又被释放，”康生斥之为“胡说和谣言”而不予理睬。“我从来没有被捕过，”康生解释并补充说，“如果我被逮捕的话，我早就没命了。”关于他被捕的事情本身，就会使他在中共的圈子内处于被怀疑的尴尬。

国民党喜欢对共产党使用的策略之一就是在逮捕他们以后，策反并吸收他们为其工作。很多背叛者都加入国民党，但也一些人被释放后，担任着双重的身份，重新回到共产党的队伍。因此，被国民党逮捕过的共产党员们一旦从监禁中被释放，就既然的容易受到过去同伴的怀疑。