1920年春，陈独秀南下到上海，加快了马克思主义政党学说从理论到实践的进程。在上海，陈独秀时常与李汉俊等交谈，越谈越觉得有必要成立中国共产党。
5月，李汉俊与陈独秀、李达发起成立上海马克思主义研究会，探讨社会主义学说和中国社会改造问题。
7月，在上海举行的中国积极分子会议上，陈独秀、李汉俊等坚决赞成建立中国共产党。
8月，与俞秀松等人发起组建中国社会主义青年团，又与陈独秀等在上海《新青年》编辑部成立了中国共产党第一个早期组织，实际上承担着发起组的功能，成为各地共产主义者进行建党活动的联络中心。
李汉俊负责联络推动各地成立共产党早期组织工作，其中湖北共产党早期组织就是董必武等在他的指导下成立的。
