后，钱大钧进入保定军校就职，为军校第八期炮兵科第四队分队长，后又任第九期炮兵科炮兵队队长。孙中山在民国十年（1921年）被流亡广东的旧国会议员推举为中华民国政府非常大总统，钱大钧决定辞职南下广东投效孙中山，钱大钧抵达广东后加入粤军，为粤军第一师（师长邓铿）司令部参谋，后转任粤军第二师（师长许崇智）中校参谋。在民国十三年（1924年）孙中山决定创设黄埔军校，钱大钧为校务筹备的核心人物之一，后续任黄埔军校运作的重要干部，黄埔军校开办前，钱大钧为入学试验委员会委员。5月黄埔军校开学后，转任第一期中校兵器教官，