与杨秀清的下人争执，玉崑身为判官，两边都不得罪，採取息事宁人的做法，「可勿杖，转相劝慰」，但杨秀清不同意该判决，激烈地命令石达开逮捕自己的岳父黄玉昆，「玉崑闻而辞职，燕王秦日纲闻之亦相率辞职。」结果杨秀清「杖日纲一百，玉崑三百，玉崑杖后，夜投水救起」被罗苾芬所救，但被杨秀清贬为普通士卒。石达开奏请杨秀清批准，黄玉崑入翼王府任文书。9月复职，封卫天侯，还是执掌天朝刑部。1855年10月随石达开自安庆西进，援救武昌。11月，在湖北崇阳县、通城县作战，进入江西。12月，和胡以晃占领临江府。1856年1月，攻占