1937年9月6日，陕西三原县石桥镇村外的田野上临时搭起了阅兵台，我9000多名红军将士在这里誓师出征，番号为“国民革命军第八路军第129师”。三原誓师后，129师和先前整编的115师、120师一样直接开赴抗日前线。一个月后，国民政府宣布南方各省（琼崖除外）的红军和游击队改编为国民革命军陆军新编第四军。然而，八路军、新四军番号的由来却颇费周折。
西安事变结束了10年内战，促成了第二次国共合作。第二次国共合作的实质是两党的军队合作抗日。毛泽东为首的党中央吸取了第一次国共搞党内合作的教训，确定了第二次国共合作中独立自主的方针，即在保存与巩固革命武装、保证党对军队绝对领导的原则之下，“改变番号与编制以取得合法地位”，壮大和发展人民武装。红军要合法化，就要整编，整编就要有番号。蒋介石却迟迟不愿给番号。因为与孙中山主动实行国共合作相比，蒋介石同意第二次国共合作却是出于被逼无奈。虽然西安事变中蒋介石接受了“停止剿共，联合红军抗日，共产党公开活动”等6项条件，但实质上，蒋介石消灭共产党的决心一直没变。他想通过“合作”实行军令、政令统一，剥夺共产党对军队的领导权（人事权），达到收编红军，进而消灭共产党的目的。红军整编后的领导权问题，始终是国共两党合作抗日谈判的焦点。
1937年2月中旬至3月上旬，周恩来等赴西安，同国民党就红军改编和开赴抗日前线问题进行谈判，提出：“红军改名为国民革命军”，组成一路军，设总指挥部，配正副总司令，下辖4个军、12个师、36个旅、108个团，军官由延安派。而国民党只给2个师、8个团的编制，不设军和总指挥部，除师长外，其他军官由南京配备，直属国民党军政委员会领导。双方围绕人员编制和领导权问题僵持不下。此时，毛泽东致电周恩来：“只要蒋介石同意改编红军，就是我们的一大胜利。”中共再作让步。3月8日，谈判达成5条意见，上报蒋介石审批。其主要内容是：红军改编为国民革命军，服从国民政府及蒋介石统一指挥。其编制人员按国军同等待遇。编为3个师，计6个旅12个团及直属队共4.5万人。设总指挥部，干部由中共推选。史称“三八协议”。但没想到这个由蒋介石指导下产生的协议，蒋又反悔，不同意了，谈判又回到了起点。
3月下旬至4月初的第2次会谈、5月2日至14日的第3次会谈，蒋介石依然从控制、取消共产党对红军的领导权出发，先是同意改编为3个师，设总部，军官由延安派，但总司令由蒋委派；后又提出红军师以上干部全部出洋，半年之后回国重新安排，师副职由国民党派。毛泽东、朱德离开红军到国民政府中“做事”。中共坚持对红军改编后的领导权，反对国民党派人到部队任职。
就在国共谈判进行不下去的时候，卢沟桥事变爆发了。第二天，中共通电全国：“平津危急！华北危急！中华民族危急！只有全民族实行抗战，才是我们的出路！”当日，红军将领致电蒋介石请缨杀敌，“誓与日寇决一死战”。7月17日，周恩来到庐山同蒋介石举行第4次会谈。由于蒋介石幻想日本人不扩大事态和再次媾和，谈判无果，但全国的抗战形势使红军的整编不能再拖下去了。毛泽东在命令部队云阳集中做好自行整编准备的同时，积极开展统战工作，他亲笔给蔡元培等70余名学者写信，通报两党会谈情况和红军急于上前线的决心。年近古稀的蔡元培赶赴南京，绝食静待3天，逼蒋答复红军改编。8月上旬，周恩来到南京参加国防会议并举行两党第5次谈判，期间拜会了冯玉祥等国民党地方实力派，阐明了共同抗日和改编红军的原则立场，使两党半年会谈的真相大白于天下。
冯玉祥以辞副委员长相劝蒋介石同意红军编3个师。蒋介石深知不同意共产党的整编方案，红军上不了前线，自己罪责难逃；给了红军番号，让其名正言顺地抗日又无异于放虎归山。在内外压力下，蒋介石表面答应给红军番号尽快让其改编，可肚子里仍然盘算着如何消灭共产党。谈判伊始，国民党军政委员会部长黄绍竑和副参谋长白崇禧提出“黄白案”：八路军以2个师由渭南上车，经风陵渡、同蒲路至代县附近下车，到蔚县一带集中。另一师沿陇海路转平汉路，在徐水下车，到冀东玉田、遵化一带，开展游击战争。毛泽东看后轻蔑地一笑：“胃口不小啊，他们这是想吃掉我的整个红军啊！” “黄白案”遭到拒绝。谈判再被搁置。
8月13日，日军大举进攻上海。一直断尾求生的蒋介石有点恐慌了。“九一八事变”后，东北、华北喂不饱侵略者，这次日本直掐咽喉。江浙是蒋介石发家之地，也是英美等国在华重要利益所在地，非东北、华北可比。如今日本人打上海，要抄老家、断后路了。蒋介石再三权衡后，终于放弃了“收编”的企图，国共会谈出现了转机。蒋介石在调动国军淞沪会战的同时，同意“三八协议”。红军整编后的番号是桂系空出的第八路军，3个师的番号则是吃败仗被撤销的东北军115、120、129师。
8月25日，中共中央军委宣布红军改编为八路军，设总指挥部，朱德、彭德怀任正副总指挥。115师师长林彪，120师师长贺龙，129师师长刘伯承，全军编制4.5万人。为加强党对军队的绝对领导，成立前方军委分会，以朱德、彭德怀为正副书记。军委强调：“各师改编为国民革命军后，必须加强党的领导，保持和发扬十年斗争的光荣传统，坚决执行党中央与军委会的命令，保证红军在改编后成为共产党的党军，为党的路线及政策而斗争，完成中国革命之伟大使命。”
中共中央在针对八路军领导权的同时，对新四军整编中的领导权也同样重视。叶挺担任军长的过程和新四军番号的由来就说明了这一点。
广州起义失败后，叶挺流亡国外，“九一八事变”后到澳门居住。“七七事变”后，他结束流亡回到国内。“八一三事变”后，叶挺向蒋介石提出为了抵抗日本侵略，“让我来集合仍留在南方的红军和改编这些军队”的建议，并说改编后番号叫“新四军”。蒋介石接受了叶挺的建议，番号则得到了国共两党的认可。蒋介石认可“新四军”，是他任总司令的北伐军中有个第四军。毛泽东认可“新四军”，是他创建人民军队的第一个军是红四军。第一次国共合作北伐，北伐的8个军中第四军共产党员最多、战斗力最强。共产党员叶挺任第四军直属独立团团长。1926年8月下旬，在进攻湖北重镇汀泗桥和贺胜桥战役中，面对吴佩孚3万余精锐主力，叶挺独立团的2000多名勇士勇猛血战。1927年1月15日，武汉的粤侨联欢社将精心铸造的一巨型铁盾赠送给第四军将士。该盾正面中央铸有“铁军”两个竖写的大字，铁盾右上方题“国民革命军第四军全体同志伟鉴”。 因铁军“独负盛名、战绩辉煌”，朱德、毛泽东井冈山会师后的第一支部队合编为“中国工农革命军第四军”，成为中共第一军。叶挺提议把红军游击队改编为新四军，就是希望继承“铁军”和红四军的优良传统。
毛泽东虽认可“新四军”这个番号，但对叶挺改编南方红军游击队却不完全放心。因叶挺已不是共产党员，所以没有推选叶挺为军长人选，而中共推荐的其他人选，国民党反对。国民党随之提出由陈诚或张发奎指挥“新四军”，中共不同意。国共两党在南方红军游击队改编后由谁指挥这支抗日武装相持不下。9月28日，蒋介石突然单方面委任叶挺为新四军军长。在蒋介石看来，叶挺在国外过了10年流亡生活，已脱离共产党且失去了共产党信任，想乘机把叶挺拉过去，通过叶挺把红军游击队抓在自己手里。
中共中央没有立即同意叶挺就任新四军军长，因为叶挺长期寓居海外，虽然归国后见到周恩来时有一个表态，但中央对他的政治态度和立场还缺乏全面掌握，需要有一个考察了解的过程。10月9日，毛泽东致电正在南京同国民党谈判的博古和叶剑英，询问叶挺是否愿意恢复党籍或完全接受党的领导，而不受国民党的干涉，并是否愿意到延安来一趟。叶挺获知后明确表示，愿意接受中国共产党的领导，并决定赴延安。
10月12日，国民政府军事委员会宣布，南方8省14个地区（不含琼崖）的红军和游击队，改编为国民革命军陆军新编第四军，军长叶挺、副军长项英。中共认可叶挺任新四军军长，同时决定成立以项英、陈毅为正副书记的军委新四军分会，以加强党对新四军的领导。
11月3日，叶挺到达延安，受到热情欢迎，毛泽东致词：“我们今天为什么欢迎叶挺军长呢？因为他是大革命时代的北伐名将，因为他愿意担任我们新四军军长，因为他赞成我党的抗日民族统一战线的政策，所以我们欢迎他。”叶挺激动地说：“同志们欢迎我，实在不敢当，革命好比爬山，许多同志不怕山高，不怕路难，一直向上走。我有一段爬到半山腰又折回去，现在又跟上来。今后，一定遵照党所指示的道路走，在党和毛主席正确领导下，坚决抗战到底。”
11月9日，叶挺告别延安回到武汉。12月25日，新四军军部在汉口成立。1938年1月移驻南昌，2月部队开始集结整编。全军1.03万人，编为4个支队：第1支队司令员陈毅，第2支队司令员张鼎丞，第3支队司令员张云逸，第4支队司令员高敬亭。
改编结束后，新四军向皖南、皖中集结，整训后开赴华中敌后开展抗日游击战。
叶挺怀揣蒋介石的委任状，身穿国民党的将军服，但一直白皮红心，对共产党忠贞不渝。皖南事变被俘，蒋介石软硬兼施、威逼利诱，叶挺信念不改，出狱后的第一个要求是重新入党，后因飞机失事牺牲。受到毛泽东等中央领导的高度评价。
第一次国共合作，共产党员以个人身份参加国民党，两党共同组织北伐，北伐成功了，蒋介石却背叛革命，杀了共产党个措手不及，第一次大革命失败；第二次国共合作中，共产党既坚持统一战线又坚持独立自主的原则，使党领导的人民军队——八路军、新四军合法生存发展。抗战胜利了，蒋介石又故技重演，妄图3个月消灭共产党，但毛泽东早有准备，蒋介石的阴谋失败了。可以说，没有红军改编八路军、新四军的成功，就不可能打败蒋介石建立新中国！