这些年来，蒋介石因为手中没有掌握军队，因此在军中一直充任参谋一类的幕僚、副手，“为他人做嫁衣裳”，还受排挤、奚落，以致长期一事无成。因此，当蒋介石得知孙中山准备让程潜任黄埔军校校长，让自己和李济深为副校长时，他老大不高兴，嫌官小无权。
其实，这时蒋介石无论在党内还是在军中都是后辈。蒋介石任副校长已是重用，孙中山满以为这一安排能拢住蒋。谁知道，蒋介石不愿居程潜之下，于是，便耍起以退为进的手段，竟放弃筹备军校的重要任务，未经孙中山和廖仲恺的许可，擅自发给为黄埔军校招来的教职员一笔离职津贴，声称学校不办了。而他本人则于1924年 2月21日私自溜回了上海，又从上海回到老家溪口，整天同自己的新欢陈洁如游山玩水，想以此要挟孙中山。
但是，就在蒋介石走后的第二天，孙中山就任命廖仲恺代理军校筹备委员会委员长，接替了蒋的职务。当时，国民党中央执行委员张静江、戴季陶都与蒋介石交好。蒋介石一急，赶紧找张静江、戴季陶哭诉，结果，张静江专为此事亲自由上海跑到广州，找孙中山替蒋介石说情。国民党中央执行委员李烈钧等也都极力推荐蒋介石任校长，并向孙中山说：“校长一职，非蒋莫属。”
