幼时读过私塾，学过武艺。1924年，与同乡何德介、何德用一起赴广州投考黄埔军校。由于何昆不具备初中以上学历，于次年冬，才入黄埔军校第四期学习，在校期间加入中国共产党。1926年中山舰事件后离校，到三水县石峡地区进行活动。1927年四一二事变后，何昆从广州到武汉从事秘密工作。不久，八七会议在汉口召开，他参加了这次会议的有关工作。1927年12月，何昆参加广州起义。起义失败后，在黄沙火车站被捕。他凭借习武基础，带领部分难友逃出关押场所，潜回永兴老家短暂停留。1928年1月湘南起义爆发后，何昆向广大群众宣传中共革命思想，帮助地方党组织训练工农武装。不久后，被中共组织先后调往武汉和上海工作。