1924年1月28日，經孫中山親自選址，陸軍軍官學校校址設在長洲島。長洲島是珠江的江中之島，島上陸地面積大約為8.5平方公里，島上地形以丘陵和沖積平原為主，中北部為丘陵，其余為平原，最高點海拔不足百米。島上植被繁茂，河流密布，宋代就有居民在此繁衍生息。
明代時，長洲島上就有船舶修理廠。清康熙年間開海禁，設立了粵海關。清政府規定廣州為對外貿易唯一口岸，粵海關就在長洲島上的黃埔村設立了黃埔掛號口（黃埔海關的前身），對進出船舶進行查抄、征稅，行使海關的職能，掌管中外商船出入黃埔的貨物裝卸、過駁等事宜。
長洲島周圍水域是當時外來船只的停泊地，是黃埔掛號口稅吏兵丁們的作業區域。所有外來船只的維修都集中在長洲島上的船塢。長洲島南連虎門，地理位置十分重要。鴉片戰爭時期，虎門炮臺是守衛廣州的第一道防線，而長洲島上修建的白鶴崗、大坡地等7座炮臺組成的長洲要塞就成為守衛廣州的第二道防線。1839年，林則徐在廣東禁煙的時候，黃埔地區的人民就非常支持禁煙運動，協助官軍收繳了近兩萬箱鴉片送往虎門銷毀。鴉片戰爭期間，黃埔烏涌炮臺的中國軍隊奮力抗擊英軍侵略，后世稱為“烏涌戰役”。
第一次鴉片戰爭后，英國人曾要求清政府割讓長洲島，由于番禺十三鄉居民強烈抗議才沒有得逞，英國人繼而強迫割讓香港島。1845年，蘇格蘭人約翰?柯拜修建了黃埔船塢。后來，清同治年間，粵海關黃埔分關黃埔掛號口遷到長洲島北岸，仍用“黃埔”舊名。久而久之，長洲島就被人們稱為“黃埔島”。
清咸豐年間，黃埔掛號口改建為黃埔分關。島上的要塞建于1870年。直到1924年黃埔軍校創建時，島上還保留著當年保衛海岸用過的大炮。黃埔分關建成后，國內外商賈云集，交流密切，不少外國商人和水手在島上居住，對外貿易十分活躍，還有外國人在這里創辦實業，發展經濟，例如開辦船舶制造廠、修理廠等，長洲島迅速繁榮起來，在這里誕生了中國歷史上第一代的產業工人。
黃埔島上曾建有多所軍校。1880年，兩廣總督張樹聲用劉坤一贈款在黃埔創辦廣東西學館（另有一說是，1876年兩廣總督劉坤一花費白銀8萬兩開辦了廣東西學館）。西學館自1881年1月動工興建，1882年1月竣工，“計前后樓房4進，左右住房22間，更樓、廚房、茶房、俗房、廁所俱備”，“其規模程式，兼用中西”。張樹聲仔細斟酌核定了學館章程，委任丁憂在籍的翰林院編修廖廷相為學館總辦，從福州船政學堂及各處選調了精通外語和算術者充當教習，同時還與駐英公使曾紀澤聯系，請他代為物色聘請“精通駕駛、饒有才略之人”赴粵擔任學館洋教習。1882年開學時，又更名為廣東實學館，旨在培養軍事科技人員。實學館分制造與駕駛兩科，學習內容除中文、英文、算術（包括代數、幾何、三角、測量）外，制造科學生學習重學、微積分、化學、格致、汽機、造船、造炮等，駕駛科學生學習航海諸法、天文、船藝等，5年為期，首屆招生50名，是為廣東海防教育的發端。
1884年7月，張之洞接替張樹聲任兩廣總督，把學校改名為廣東博學館。張之洞認為：“到外洋諸國于水陸兩軍皆立專學。近年天津福州皆設水師學堂，而天津兼設武備學堂以練陸師。廣東南洋首沖，較他省為尤急。”可見張之洞倡辦廣東水陸師學堂，是總結了中法戰爭教訓，認為廣東為國家南大門，位置十分重要，天津、福州都有水師學堂，天津還有武備學堂，廣東更應該創辦水陸師學堂。同年，設廣州黃埔魚雷局，1886年附設魚雷學堂，培養魚雷艇官弁，共辦5屆，招生數十人，及格畢業者19人。1887年8月3日，張之洞在博學館原址創辦廣東水陸師學堂，這是中國最早的兩所軍事學堂之一。除了黃埔船塢，張之洞又在島上征地47畝，用去白銀約5000兩，建造校舍和機器廠、鑄鐵廠、儲料場、打鐵廠、工匠房、操場、演武廳以及碼頭、石堤等設施，之后又新建了一座制造管輪的機器廠。
廣東水陸師學堂分為水師和陸師兩部，新學堂建成后，八卦山以東的舊堂舍專居陸師學生，稱陸師誦堂；八卦山以西的新校舍住水師駕駛、管輪專業的學生，稱為水師誦堂。整個校舍分為水師講堂、水師操堂、陸師誦堂、陸師操場、陸師馬步炮操場五部分。水師學生學習英語，設管輪、駕駛兩專業。管輪專業學生學習機輪理法、制造運用；駕駛專業學生學習天文、海道、駕駛、攻戰之法。陸師則學習德文，設馬步、槍炮、營造三個專業，開設海道、駕駛、攻戰等課程。創辦之初，水師、陸師各招學生70人，后來水師的管輪、駕駛各招70人，共有學生210人，學制3年。
1889年11月，學堂又增設礦學、化學、電學、植物學、公法學等五所西藝學堂。學堂總辦為吳仲翔，后為魏瀚。因當時學堂認為英國海軍最先進，德國陸軍最先進，提出“水師學英國，陸師學德國”，聘請英國人李家孜為水師教習，德國人歐披次為陸師教習。詹天佑也擔任過該校教習。學生每年9個月在學堂學習，3個月在兵艦或兵營實習。水師學員畢業后，需到兵艦實習1年，后延至3年。學員除了在廣東招生，還招收福建船政學堂及天津的武弁和文童。廣東水陸師學堂的學生來源分為三部分：一是“內學生”，從“博物館舊生”中挑選30名；二是“營學生”，從軍營武弁中挑選20名；三是“外學生”，招收16到30歲文生20名。
張之洞認為這樣的搭配可以發揮互補作用。“內學生”的文化水平較高，缺乏實踐經驗；“營學生”有實踐經驗，但文化知識欠缺，他們在一起學習，便可以互相取長補短。“營學生”與“外學生”年齡較大，學習外語有一定困難。張之洞考慮到這一點，除了請外籍外語教師，又聘請翻譯一名，在課堂“轉相解授”。有論者指出，廣東水陸師學堂的創辦，不但是廣東官辦學堂之始，還開了廣東近代軍事教育的先河。
1893年，兩廣總督李瀚章將廣東水陸師學堂中水師、陸師分開辦理，陸師誦堂停辦，水師誦堂則改為廣東黃埔水師學堂。黃埔水師學堂規制、課程仿照馬尾、天津水師學堂成法，并根據廣東實際情況，略作變通，設管輪、駕駛兩專業，學制3年。
1904年，總辦魏瀚將黃埔水雷局附屬魚雷班并入廣東黃埔水師學堂，增設魚雷生名額40名，并改稱廣東水師魚雷學堂。學生除了學習駕駛，兼學管輪、魚雷課。這是中國海軍早期航輪兼宜制度的嘗試。
1906年，魏瀚在水師魚雷學堂同一校舍辦海軍工業學堂，改校名為廣東水師工業學堂。1912年后，收歸海軍部管理，學堂改組，廣東水師工業學堂的學生歸并于水師，廣東水師工業學堂改名為廣東海軍學校。廣東海軍學校以肖寶珩為校長，學生定額130名，以“實施海軍教育，養成海軍人才”為教學宗旨，并定出校訓四條：愛國、服從、名譽、樂群。修訂學制：預科、本科各修3年，共12個學期畢業。預科開設課目：算術、代數、幾何、量積、平面三角、物理、化學、英文、國文、歷史、地理、繪圖、操練、舢板、游泳等。本科學習課程：弧三角、航海、天文、微積分、解析幾何、高等代數、運用術、炮術、輪機、水魚雷等。在此期間，孫中山曾到黃埔對海軍學生講話，訓勉大家要愛國、振興海軍。直至1921年12月，該校因經費原因暫時停辦，招生至第18期。黃埔水師學堂自開辦起，共畢業駕駛班學生10名、管輪班學生198名。其第八至第十屆駕駛班學生均前往北洋海軍練習。
1902年，廣東武備學堂（廣東陸軍中學堂）在廣東黃埔水陸師學堂舊址成立，總辦魏瀚，下設總教習、教習和助教，聘日本校尉官擔任教習、助教。所招學生多屬武秀才或文人出身，如李濟深、姚雨平、黃任寰、張我權、張醁村等人。該校共辦兩期。第1期送日本士官學校留學的有31人，第2期學生約有100人。1906年改稱廣東陸軍中學堂，將武備學堂第2期學生改為中學堂學生。
1905年5月，廣東陸軍小學堂成立，校址位于黃埔島平崗武備學堂舊址。清末，清政府改革陸軍學堂制度，仿效德國、日本將軍校分為小學、中學、軍官3級制。小學以高小畢業生或初中一年級學生為對象，授以最基本的軍事課程。廣東陸軍小學堂總辦虞汝鈞（后韋汝聰、黃士龍），下設監督、提調、文案、司事、司書等8人，教員設普通教員、兵學教員、音樂教員及官語（國語）、英語、德語、日語教員等共25人。從1905年至1910年，廣東陸軍小學堂共招收5期學生，480人，學制3至4年。畢業后即升入陸軍中學堂。畢業生中，有鄧演達、陳銘樞、蔣光鼐、張云逸、陳濟棠等人。
1906年，清政府為編練新軍培養初級軍官，令廣東成立陸軍速成學堂。于是，位于黃埔的廣東陸軍中學堂與兩廣總督岑春煊于1904年創辦的廣東隨營將弁學堂合并，改稱廣東陸軍速成學堂，校址遷至廣州大東門外北橫街，總辦韋汝聰。陸軍中學堂生編為第1區隊，將弁學堂生編為第2區隊，均屬步科；另招收部分新生編成炮、工、輜重三科。共辦兩期，學制均為一年，第1期學生400名，于1907年6月畢業，畢業生李濟深、陳章甫等人被選送保定軍官學校深造，其余則分配到廣東新軍的學兵營及第一、二標（相當于團）任初級軍官。第2期生300人，分編步、炮、工、輜四隊，于1909年5月畢業，畢業生除11人送保定軍官學校深造外，其余均分派到廣東新軍各標營任初級軍官。教學內容：戰術學、野外戰術實施、軍制學、地形學、筑城交通學、兵器學、數學、國文、操練、技術、品行；炮兵、工兵、輜重兵增加馬學。
1909年6月，廣東陸軍速成學堂改稱廣東陸軍講武堂，其編制分上級、下級兩等，每級講堂又分甲、乙兩班。上級學員為陸軍中職以上者，其中能聽懂外語講課者為甲班，不懂外語者為乙班；下級學員為陸軍中職以下者，分批調集入堂學習，程度較高者為甲班，程度較低需補習者為乙班。初開辦時，因廣東新軍僅有一個混成協，陸軍中等職級以上軍官為數不多，上級學員先未分班，后又改分班學習。一班畢業，再辦一班。下級學員甲班，從督隊官到事務長共約200名，分3期集訓，第1期4個月；乙班40名，修業期半年。廣東講武堂總辦為韋汝聰，下設正副監督各1人，提調1人，總教官、副教官、分教官、各科教練官、助教官等17人，文員、物資保障人員和勤雜人員112人。至軍閥龍濟光據廣東時下令停辦。
1906年5月，兩廣總督岑春煊在廣州大東門外北橫街批準設立了廣東陸軍測繪學堂。該學堂隸屬兩廣督練公所參謀處，總辦羅照滄，有教員20人。學堂設測繪簡易科，分高等和尋常兩個班。尋常班半年畢業，高等班1年畢業。后學制改為2年。第1期招生60人，于同年9月開學。共辦5期（其中第4、5期合并），學生300人。此外，岑春煊還于1905年9月在廣州北較場創辦廣東軍醫學堂，附設隨營養病院，后將隨營養病院改為陸軍軍醫局。1909年，又成立了施診所、醫兵學習所和兵事研究所等機構。
1912年后，廣東都督胡漢民將黃埔島上的廣東陸軍速成學堂易名陸軍速成學校。陸軍速成學校設步兵、騎兵、炮兵、工兵、輜重兵五個科，投考條件是中學畢業或相當程度學歷、身體健康的18歲以上25歲以下男青年。后因學生增加，操練場地狹小，于是從黃埔島遷到廣州東門北橫街。不久，二次革命爆發，陸軍速成學校學生多參加反袁軍事斗爭。二次革命失敗后，該校學生各奔前程，自尋出路。孫中山三次在廣東建立政權時，不少速成學校的畢業生加入粵軍。
孫中山對黃埔島非常熟悉，黃埔軍校建立前，曾多次登上黃埔島。孫中山曾經在長洲黃埔公園就任海陸軍大元帥；護法戰爭期間，孫中山最為倚重的軍事力量——海軍護法艦隊就停泊在長洲島，著名的永豐艦（中山艦）就在其中；陳炯明叛變后，孫中山曾率領海軍駐扎在黃埔，指揮平叛。當時，孫中山平叛的軍事作戰方針是依靠海軍力量堅守黃埔，命令北伐軍回師討伐陳炯明。他曾在永豐艦召集艦隊官兵，發表演說，決心“由艦隊先發炮，攻擊在省叛軍，以示正義之不屈，政府威信之猶在”，然后“還駐黃埔，以候北伐諸軍之旋師來援，水陸并進，以殲叛軍”。孫中山親率各艦由黃埔出動，炮擊珠江沿岸叛軍，但由于沒有可靠的陸軍配合，炮擊行動不足以取得成效，艦隊隨即退回黃埔，與長洲要塞成掎角之勢，與叛軍相持。堅持數日，海軍某些首領發生動搖，孫中山依然堅持“設行營于黃埔，專待北伐大軍之回戈”的決策。另一方面，他說服海軍堅守黃埔。7月9日，叛軍占領長洲炮臺，為避炮擊，孫中山率艦隊移泊新造河面。
1923年10月，孫中山大元帥府大本營軍政部部長程潛在黃埔島建立中央陸軍教導團，駐扎在黃埔島前廣東陸軍速成學校的營房里，以培養軍隊基層骨干。
當時，陸軍軍官學校的創辦已提上日程，但還沒有將校址定在黃埔。很多人主張，當時駐在廣東的各派軍事力量都辦有自己的軍事干部學校，完全可以在這些軍校中選擇一個加以擴充，不必重新建立。孫中山最初考慮把校址選在廣州“測繪局及西路討賊軍后方醫院”，為此“還形成了正式文件”。但到了1924年1月28日，孫中山決定把黃埔島作為陸軍軍官學校校址。