Det er vanlig å kjøre algoritmen noen ganger med forskjellig for å finne den optimale verdien til , men det er også mulig å bruke heuristiske metoder for gjøre det. En av disse er hyperparameteroptimisering.