keydown отпишет блок от последующих keydown и будет следить только за mousedown, и наоборот.