Q:

Как правильнее подбирать параметры модели (RandomizedSearchCV,. GridSearchCV) или же вручную

Столкнулся с задачей подбора параметров для модели lightgbm, соответсвенно возникает вопрос, каким способом лучше всего их подбирать?  Использовал метод RandomizedSearchCV, в течение 10 часов подбирались параметры, а толку от этого нет, точность такая же как и при ручном вводе параметров наугад.  +/- смысл параметров понятен, какие отвечают за переобучение, какие за точность и скорость обучения, но вот не совсем понятно, если подбирать вручную то по одному или по парам, или еще варианты? 
Ниже превожу пример как я реализовал подбор параметров:
SEED = 4 
NFOLDS = 2
kf = KFold(n_splits= NFOLDS, shuffle=False)

    parameters = {

          'num_leaves': np.arange(100,500,100),
          'min_child_weight': np.arange(0.01,1,0.01),
          'feature_fraction': np.arange(0.1,0.4,0.01),
          'bagging_fraction':np.arange(0.3,0.5,0.01),
          'min_data_in_leaf': np.arange(100,1500,10),
          'objective': ['binary'],
          'max_depth': [-1],
          'learning_rate':np.arange(0.001,0.02,0.001),
          "boosting_type": ['gbdt'],
          "bagging_seed": np.arange(10,42,5),
          "metric": ['auc'],
          "verbosity": [1],
          'reg_alpha': np.arange(0.3,1,0.2),
          'reg_lambda':  np.arange(0.37,0.39,0.001),
          'random_state': [425],
          'n_estimators': [500],
    }

 model = lightgbm. LGBMClassifier()
RSCV = RandomizedSearchCV(model,parameters,scoring='roc_auc',cv=kf.split(train),n_iter=30,verbose=50)

RSCV.fit(train,label)

A:

Если подбор параметров не дает никакого профита, может стоит попробовать другую модель или поработать с фичами (признаками).  А если ты хочешь вручную подбирать как-то параметры, то можешь попробовать принцип ортогонализации (Orthogonalization).  У Andrew NG на Coursera можешь посмотреть видео на эту тему.  Но смысл в том, что ты изменяешь значения одного параметра , а все остальные параметры фиксируешь, и смотришь как меняется качество твоей модели. 