在國民黨一大召開前，孫中山已經開始了籌建新型軍校的準備工作。他通過研究俄國十月革命的成功經驗，認識到只有創造革命軍，才有革命事業的成功，遂決定以俄為師，學習蘇聯的蘇維埃組織、軍隊和教育組織等經驗，并接受了共產國際代表馬林“必須建立一個軍事學院，為革命奠定武裝基礎”的建議。

　　1923年5月，蘇聯政府通過越飛電告孫中山，提出蘇聯政府為幫助孫中山建設軍隊，同意援助200萬金盧布（以一年為期分次付款），每次5萬金盧布，同時還準備提供包括“8000支日本式步槍，15挺機槍，4門奧利薩卡炮和2輛裝甲車”的軍事援助。但蘇方希望孫中山用這批“物資和教練員建立一個包括各兵種的內部學校”，“而非野戰部隊”，這也直接促使孫中山決心“先建軍校，再建黨軍”。

　　“孫逸仙博士代表團”訪蘇

　　經過多次溝通，孫中山決定派出代表團赴蘇聯考察并商討建立軍校事宜，代表團負責人為蔣介石。因為國民黨同蘇聯的關系還沒有正式公開，所以1923年8月4日，《廣州民國日報》以《蔣介石又有歐洲之行》為題報道：蔣介石“擬分赴歐洲各國，從事主義宣傳”。8月5日，蔣介石奉孫中山指示到上海同共產國際代表馬林進行商談。

　　代表團以蔣介石為首席代表（實為團長），其他3位代表分別為張太雷（此前先后擔任共產國際代表馬林、鮑羅廷的翻譯和助手）、沈定一和王登云。

　　代表團出發前，孫中山寫信給蘇聯領導人介紹蔣介石情況，隨后又向蘇聯駐華大使加拉罕去信告知“孫逸仙博士代表團”赴蘇考察的性質和任務——“將討論我們的朋友靠什么方法和途徑，能夠對我在我國的工作給予幫助”，還稱蔣介石是“我的總參謀長和最可信賴的代表，（他）已被授予全權，可以用我的名義進行工作”。

　　1923年8月16日，代表團一行乘“神田丸”輪船自上海出發，由大連進入東北地區，然后乘西伯利亞鐵路列車前往莫斯科。9月2日，一行人到達莫斯科火車站，有蘇聯外交官員迎接。

　　7日上午，代表團與俄共（布）中央政治局委員兼書記處書記魯祖塔克會晤，全程2個多小時。魯祖塔克提議代表團和共產國際代表組成專門委員會，討論如何協調國民黨同俄共中央的共同合作行動，建議最好有一名國民黨代表常駐莫斯科。代表團一行拜訪了維經斯基（共產國際遠東局書記，此前雙方就認識），相談甚歡。當天下午，又拜訪蘇聯革命軍事委員會副主席斯克良斯基和紅軍總司令加米涅夫等，并向斯克良斯基提出下列請求：“一、代表團希望革命軍事委員會派人到華南，仿照（蘇聯）紅軍編練中國軍隊，派去的人愈多愈好；二、代表團希望革命軍事委員會為孫中山代表提供方便，以考察紅軍；三、代表團請求共同商討中國作戰方案。”關于第一個問題，斯克良斯基答復說，已有波里亞克、格爾曼、切列潘諾夫、捷列沙托夫和斯莫連采夫等人于當年夏天奉命前往廣州，“要視派去的同志在南方軍隊中發揮作用如何，再作決定”。關于了解蘇聯紅軍的問題，蘇聯軍事學校管理部主任彼得羅夫斯基向代表團介紹了有關蘇聯紅軍的情況。

　　在莫斯科期間，代表團成員與馬林進行了會談，商議黨事，多次拜會蘇聯紅軍領導人托洛茨基、彼得羅夫斯克等，先后參觀了蘇聯紅軍和各軍事學校，對其政治教育留下了極其深刻的印象，詳細了解到“俄國軍隊組織之內容”，學習他們先進的建軍經驗，并商談了雙方軍事合作問題，雙方對于在中國南方創辦軍校一事“詳加研究，得若干紅軍將領之助，乃制定設立軍官學校之計劃”。代表團還邀請蘇聯派遣政治顧問和軍事顧問赴華幫助開展工作，并協商了“在庫倫以南鄰近蒙中邊界組建國民黨軍隊的問題”。

　　關于蘇聯幫助國民黨開辦軍校的事宜，斯克良斯基答復：“俄國革命軍事委員會并沒有多少了解中國并且懂得漢語的干部……所以最好的辦法是在俄國為中國人成立專門的軍事學校。”雙方經過交換意見達成協議：一、在俄國境內為中國學員開辦軍校，此事應同外交人民委員部協商。二、開辦兩所軍校，一為高等軍校，培養不低于營級的指揮人員，招收具有一定俄語知識的人，約30名，地點在莫斯科或彼得格勒；另一所在中國，為培養中等人才的軍校，在靠近中國的伊爾庫茨克或海參崴，可招收多少經過軍事訓練的人500名。（此后，孫中山派代表與在北京的蘇俄駐華全權代表加拉罕商定，將軍校校址定在廣州）斯克良斯基還提出：可以允許“中國同志”到蘇聯軍事學校學習。參謀部學院可以接受3—7人，軍事學校可以接受30—50人。“不過，在選派到俄國來的同志時，必須遵循以下條件：首先必須是那些完全忠于黨、經過仔細挑選的人。這一點特別重要。已有軍齡、不低于團級或營級的指揮員，可以派到蘇聯的學院學習。派往軍事學校學習的也需要有一定的軍事素養。”

　　代表團還與軍事人民委員、“紅軍之父”托洛茨基舉行了一次長談。當晚，代表團即向齊采林辭行。

　　11月29日，除了張太雷留在莫斯科，“孫逸仙博士代表團”離開莫斯科，提前回國。12月8日，代表團返回上海。蔣介石并沒有立即去廣州作詳細匯報，而是匆匆忙忙乘船趕回浙江溪口，拜祭去世的母親。在此期間，孫中山致電蔣介石：“兄此行責任至重，望速來粵報告一切，并詳籌中俄合作辦法。”汪精衛、胡漢民、廖仲愷屢次電函蔣介石邀其赴粵報告訪蘇的情況，但蔣介石多方推脫拖延。之后，蔣介石在奉化時將其所寫的《游俄報告書》寄給了孫中山。

　　后經孫中山、廖仲愷、張靜江等多次來電催促，蔣介石才于1924年1月16日抵達廣州，并列席了國民黨第一次全國代表大會。其間，他向孫中山口頭報告了訪蘇情形。

　　確定建校方案

　　1923年10月10日，孫中山在國民黨懇親會上提出建立陸軍講武堂的建議；11日，在國民黨廣東支部黨務會的演說中又再次強調“黨之基礎”全“在于軍隊”，認為應“效法俄人”“以黨治國”和“速建黨軍”。15日，中國國民黨黨務討論會研究了建立軍官學校的問題，通過了“設陸軍講武堂于廣州，訓練海外本黨回國之青年子弟，俾成軍事人才，擁護共和”的提案（一說會議提議孫中山親任校長）。19日，國民黨臨時中央執行委員會舉行第七次會議，決議“先招有軍事學識黨人約十數人，日間為學生講習軍事學及黨義，夜間教練義勇軍”。此后，孫中山主持召開了數次會議，對創建軍校問題進行論證。11月13日，因陳炯明叛軍進犯廣州，蘇聯顧問鮑羅廷建議中國國民黨臨時中央執行委員會立即建立義勇軍（或稱志愿師）。此后不久，孫中山召開國民黨中央執委會，議定成立義勇軍學校，決定把陸軍講武堂改為“國民軍軍官學校”，為即將建立的“黨軍”培養初級軍官，以蔣介石為校長、陳翰譽為教練長、廖仲愷為政治部主任。因蔣介石正在蘇聯訪問考察，所以臨時中央執行委員會決定委托廖仲愷暫時負責籌備創建軍校事宜。11月26日，中國國民黨臨時中央執行委員會第十次會議做出如下決定：“一、軍校名稱定為‘國民軍軍官學校’；二、蔣介石為校長；三、陳翰譽為教練長；四、廖仲愷為政治部主任；五、廖仲愷負責軍校籌備工作；六、校址定為東山。”12月，廖仲愷受命與孫中山聘請的蘇聯顧問鮑羅廷共商軍校人員配備諸事宜，著手開展創辦“國民軍軍官學校”的一些籌備工作。

　　1924年1月23日，國民黨一大期間，孫中山明確了建立“黨軍”的思想，提出“黨之基礎……在于軍隊”的主張。1月24日，孫中山指定蔣介石為“陸軍軍官學校”籌備委員會委員長。28日，孫中山親自確定以黃埔島的舊水師學堂和陸軍小學舊址為陸軍軍官軍校校址。

　　據研究，建立軍校尚處于討論時期，有人提出校名定為“講武堂”“國民軍軍官學校”。據黃埔軍校1期生宋希濂回憶，當時軍校的名稱為“中國國民黨陸軍軍官學校”，但另據黃埔軍校1期生李奇中回憶：“學校名稱定名為陸軍軍官學校。后來蔣介石說到這個學校的名稱時總是說成‘中國國民黨陸軍軍官學校’，大概是在企圖肯定這個學校是屬于國民黨而不屬于共產黨也不是國共兩黨共有，從這一點就可以看到蔣介石的本質和發展。”1924年3月，軍校籌委會在《廣州民國日報》刊登《陸軍軍官學校籌備處布告》，用的是“陸軍軍官學校”校名。“中國國民黨黨立陸軍軍官學校”的校名在1925年2月軍校出師東征使用。第一次東征時向老百姓散發的《告東江人民書》里，最后的署名“中國國民黨黨立”字樣“應是校長蔣介石所加”。1925年6月23日為沙基慘案發表的軍校通電，署名“中國國民黨黨立陸軍軍官學校”；而1926年2月軍校為援助省港罷工發表的《慰問罷工工友公開信》，仍署名“陸軍軍官學校”。因此有學者表明：1925年至1926年間，“這兩個校名是并行使用的”。到了1926年3月，陸軍軍官學校擴大改組，黃埔軍校校名改為“中央軍事政治學校”。1928年5月，位于黃埔島的黃埔軍校由副校長李濟深決定改名為“國民革命軍軍官學校”。9月10日，蔣介石以國民政府名義，給該校加入“黃埔”二字，稱該校為“國民革命軍黃埔軍官學校”。1930年9月，廣州的黃埔軍校停辦，北遷南京，與南京的中央陸軍軍官學校合并。1946年，“中央陸軍軍官學校”恢復1924年軍校成立之初的校名，改名為“陸軍軍官學校”。