李立三加入中共之后，从事工运。１９２２年，他参加领导了安源路矿工人大罢工。１９２３年任中共武汉区委书记。翌年任中共上海区委职委会书记。１９２５年他在上海一家工厂参加选举，李隆郅三字笔划太多工人不易写，刘少奇建议他改名。正巧迎面站着三个工人，刘少奇说：“就叫李三立吧！”
他思索了下说：“叫李立三吧！”从此他竟以“李立三”这名字传世。这年，他任上海总工会委员长，赴苏出席赤色职工国际大会。１９２７年任中共中央工人部长，全国总工会驻汉办事处主任，然后又兼任中共湖北区委书记。那时，向忠发是他的部下。后来，他参加了南昌起义，旋即又任中共广东省委书记。
李立三在蔡和森遭贬之后，当即取而代之。不过，１９２８年１１月上旬，周恩来从苏联回到上海，李立三在党内的威望不及周恩来，中共的领导工作实际上由周恩来主持。１１月９日，中共中央政治局常委会便决定，由周恩来起草新的中央的工作计划。此后，许多中央通告、文件，皆出自周恩来之手，而李立三则成为周恩来的副手，向忠发不过是名义上的领袖。向忠发、周恩来、李立三成了当时中共“三驾马车”。