928年（民国17年）7月，任东北保安委员会委员、黑龙江省省长、东北交通委员会委员长。同年12月31日，随着东北易帜，改任黑龙江省政府主席。1929年（民国18年）1月11日，张学良将常荫槐、杨宇霆紧急逮捕。常荫槐、杨宇霆即席被张学良所派的警务处长高纪毅、副官谭海等人枪杀。常荫槐享年54岁。