1920年夏至1921年春,随着马克思主义在中国的广泛传播,中国工人运动的蓬勃兴起,作为两者结合产物的中国共产党早期组织,在上海、北京、武汉、长沙、济南、广州以及赴日、旅欧留学生中相继成立,建党条件基本成熟,召开全国代表大会也在建党骨干中开始酝酿。
6月3日,共产国际代表马林取道欧洲来到上海,与从西伯利亚南下的另一位国际代表尼科尔斯基会合。他们很快与陈独秀离沪期间主持上海党组织工作的李达、李汉俊取得联系,并交换了情况。共产国际代表建议及早召开党的代表大会,宣告中国共产党的正式成立。
李达、李汉俊在征询陈独秀、李大钊的意见并获得同意后,分别写信给各地党组织,要求每个地区派出两位代表到上海出席党的全国代表大会。
7月中下旬,设在法租界白尔路389号(今太仓路127号)的博文女校,陆续住进了一批教师、学生模样的青年人,以北京大学师生暑期考察团的名义,来上海参加这次历史性的聚会。代表们到齐以后,就便在住处开了预备会。