庚生于甘肃，其父魁瀛当时在该省做官。回到江宁后逢太平天国起事，其家五十余口被杀，长庚背着母亲投奔其父故交绥远都统景廉。此后，以县丞出身，被保举为知县，时任伊犁将军荣全将其调任翼长，当时恰逢白彦虎带领西宁回人武装攻打乌垣，进而围攻哈密。同时，安集延回人首领帕夏并合元帅马明部众，联合乌鲁木齐、古牧地、昌吉、玛纳斯、唿图壁汉回人士，攻击沙山子与白彦虎遥相唿应，一时声势很大。长庚奉荣全所召，率领团练乡勇赴援，乌鲁木齐都统景廉所派遣的黑龙江营总伊勒和布所部也同时赶到，两军夹击，将回军歼灭殆尽，终于解了沙山子之围。不久