Kaggle competition: Avito Demand Prediction Challenge
<SOS> metric: RMSE Kaggle data source: avito-demand-prediction-challenge<choose_model_class>
import numpy as np
import pandas as p
from matplotlib import pyplot as plt
import seaborn as sns
from math import sqrt
from sklearn import metrics
def build_model2(lr = 0.0, lr_d = 0.0, units = 0, dr = 0.0):
file_path = "best_model.hdf5"
check_point = ModelCheckpoint(file_path, monitor = "val_loss", verbose = 1,
save_best_only = True, mode = "min")
 early_stop = EarlyStopping(monitor = "val_loss", mode = "min", patience = 3)
 inp = Input(shape =(max_len,))
x = Embedding(max_features + 1, embed_size, weights = [embedding_matrix], trainable = False )(inp)
 x = SpatialDropout1D(dr )(x)
 x = Bidirectional(CuDNNLSTM(units, return_sequences = True))(x)
 x = Bidirectional(CuDNNLSTM(units, return_sequences = True))(x)
 hidden = concatenate([
GlobalMaxPooling1D()(x),
GlobalAveragePooling1D()(x),
])
 hidden = add([hidden, Dense(units * 4, activation='relu' )(hidden)])
 hidden = add([hidden, Dense(units * 4, activation='relu' )(hidden)])
 result = Dense(2, activation='sigmoid' )(hidden)
 model = Model(inputs = inp, outputs = result)
 model.compile(loss = "binary_crossentropy", optimizer = Adam(lr = lr, decay = lr_d), metrics = ["accuracy"])
 history = model.fit(X_train, y_binary, batch_size = 128, epochs = 3, validation_split=0.1,
verbose = 2, callbacks = [check_point, early_stop])
 model = load_model(file_path)
 return model<import_modules>
df_base0 = p.read_csv('.. /input/public-solutions/base0_0.2211.csv',names=["item_id","deal_probability0"], skiprows=[0],header=None)
 df_base1 = p.read_csv('.. /input/public-solutions/base1_0.2212.csv',names=["item_id","deal_probability1"], skiprows=[0],header=None)
 df_base2 = p.read_csv('.. /input/public-solutions/base2_0.2212.csv',names=["item_id","deal_probability2"], skiprows=[0],header=None)
 df_base3 = p.read_csv('.. /input/public-solutions/base3_0.2213.csv',names=["item_id","deal_probability3"], skiprows=[0],header=None)
 df_base4 = p.read_csv('.. /input/public-solutions/base4_0.2215.csv',names=["item_id","deal_probability4"], skiprows=[0],header=None)
 df_base5 = p.read_csv('.. /input/public-solutions/base5_0.2219.csv',names=["item_id","deal_probability5"], skiprows=[0],header=None)
 df_base6 = p.read_csv('.. /input/public-solutions/base6_0.2220.csv',names=["item_id","deal_probability6"], skiprows=[0],header=None)
 df_base7 = p.read_csv('.. /input/public-solutions/base7_0.2222.csv',names=["item_id","deal_probability7"], skiprows=[0],header=None)
 df_base8 = p.read_csv('.. /input/public-solutions/base8_0.2224.csv',names=["item_id","deal_probability8"], skiprows=[0],header=None)
 df_base9 = p.read_csv('.. /input/public-solutions/base9_0.2226.csv',names=["item_id","deal_probability9"], skiprows=[0],header=None)
 df_base10 = p.read_csv('.. /input/public-solutions/base10_0.2227.csv',names=["item_id","deal_probability10"], skiprows=[0],header=None)
 df_base11 = p.read_csv('.. /input/public-solutions/base11_0.2228.csv',names=["item_id","deal_probability11"], skiprows=[0],header=None)
 df_base12 = p.read_csv('.. /input/public-solutions/base12_0.2230.csv',names=["item_id","deal_probability12"], skiprows=[0],header=None)
 df_base13 = p.read_csv('.. /input/public-solutions/base13_0.2232.csv',names=["item_id","deal_probability13"], skiprows=[0],header=None)
 df_base14 = p.read_csv('.. /input/public-solutions/base14_0.2237.csv',names=["item_id","deal_probability14"], skiprows=[0],header=None)
 df_base15 = p.read_csv('.. /input/public-solutions/base15_0.2237.csv',names=["item_id","deal_probability15"], skiprows=[0],header=None)
 df_base16 = p.read_csv('.. /input/public-solutions/base16_0.2238.csv',names=["item_id","deal_probability16"], skiprows=[0],header=None)
 df_base17 = p.read_csv('.. /input/public-solutions/base17_0.2239.csv',names=["item_id","deal_probability17"], skiprows=[0],header=None)
 df_base18 = p.read_csv('.. /input/public-solutions/base18_0.2246.csv',names=["item_id","deal_probability18"], skiprows=[0],header=None)
 df_base19 = p.read_csv('.. /input/public-solutions/base19_0.2247.csv',names=["item_id","deal_probability19"], skiprows=[0],header=None)
 df_base20 = p.read_csv('.. /input/public-solutions/base20_0.2249.csv',names=["item_id","deal_probability20"], skiprows=[0],header=None)
 df_base21 = p.read_csv('.. /input/public-solutions/base21_0.2255.csv',names=["item_id","deal_probability21"], skiprows=[0],header=None)
 df_base22 = p.read_csv('.. /input/public-solutions/base22_0.2255.csv',names=["item_id","deal_probability22"], skiprows=[0],header=None)
 df_base23 = p.read_csv('.. /input/public-solutions/base23_0.2269.csv',names=["item_id","deal_probability23"], skiprows=[0],header=None )
import xgboost as xgb
import numpy as np
import pandas as pd
import os
import matplotlib.pyplot as plt
from kaggle.competitions import twosigmanews<split>
df_base = p.merge(df_base0,df_base1,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base2,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base3,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base4,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base5,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base6,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base7,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base8,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base9,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base10,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base11,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base12,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base13,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base14,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base15,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base16,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base17,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base18,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base19,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base20,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base21,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base22,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base23,how='inner',on='item_id' )
env = twosigmanews.make_env() 
(market_train, _)= env.get_training_data()<define_variables>
M = np.zeros([df_base.iloc[:,1:].shape[1],df_base.iloc[:,1:].shape[1]])
 for i in np.arange(M.shape[1]):
for j in np.arange(M.shape[1]):
M[i,j] = sqrt(metrics.mean_squared_error(df_base.iloc[:,i+1], df_base.iloc[:,j+1]))
drop_list = ['AAI.N',
'ABD.N',
'ABV.N',
'ABY.N',
'ACF.N',
'ACH.N',
'ACL.N',
'ACS.N',
'ACTS.O',
'AD.N',
'ADCT.O',
'ADI.N',
'ADP.N',
'AEA.N',
'AEOS.O',
'AFFX.O',
'AFR.N',
'AGE.N',
'AH.N',
'AHG.N',
'AHS.N',
'AIN.N',
'AIT.N',
'ALD.N',
'ALO.N',
'ALU.N',
'AMD.N',
'AMLN.O',
'AMMD.O',
'ANDE.O',
'ANDW.O',
'ANR.N',
'AOC.N',
'APKT.O',
'APPB.O',
'AQNT.O',
'ARG.N',
'ARXT.O',
'ARXX.O',
'ASBC.O',
'ASCA.O',
'ASN.N',
'AT.N',
'ATHR.O',
'ATMI.O',
'ATML.O',
'ATPG.O',
'ATRS.O',
'AV.N',
'AVCT.O',
'AW.N',
'AXE.N',
'AXR.N',
'AYE.N',
'BBV.N',
'BDK.N',
'BEAS.O',
'BEC.N',
'BEE.N',
'BER.N',
'BEZ.N',
'BGP.N',
'BHS.N',
'BJ.N',
'BJS.N',
'BKC.N',
'BLC.N',
'BLG.N',
'BLUD.O',
'BMC.N',
'BMET.O',
'BMR.N',
'BNI.N',
'BNK.N',
'BOBJ.O',
'BOL.N',
'BOT.N',
'BOW.N',
'BQI.A',
'BRC.N',
'BRCM.O',
'BRE.N',
'BRL.N',
'BRS.N',
'BRY.N',
'BSC.N',
'BSG.N',
'BUCY.O',
'BWS.N',
'CA.N',
'CAI.N',
'CAM.N',
'CAO.N',
'CAR.N',
'CBH.N',
'CBK.N',
'CBSS.O',
'CBST.O',
'CCU.N',
'CDR.N',
'CDWC.O',
'CEG.N',
'CEI.N',
'CEN.N',
'CENT.O',
'CEO.N',
'CEPH.O',
'CFC.N',
'CG.N',
'CHAP.O',
'CHE.N',
'CHH.N',
'CHIC.O',
'CIEN.O',
'CKFR.O',
'CKH.N',
'CKR.N',
'CLE.N',
'CLP.N',
'CMCSK.O',
'CMED.O',
'CMGb.N',
'CMVT.OQ',
'CMX.N',
'CNE.N',
'CNET.O',
'CNL.N',
'CNS.N',
'CNW.N',
'COCO.O',
'COGN.O',
'COGT.O',
'COMS.O',
'CPS.N',
'CPWR.O',
'CPX.N',
'CQB.N',
'CRA.N',
'CRDN.O',
'CRR.N',
'CSE.N',
'CSH.N',
'CSX.N',
'CTCM.O',
'CTV.N',
'CTX.N',
'CVC.N',
'CVD.N',
'CVH.N',
'CVTX.O',
'CXG.N',
'CY.N',
'CYMI.O',
'CYN.N',
'CYT.N',
'CYTC.O',
'DADE.O',
'DAKT.O',
'DCEL.O',
'DELL.O',
'DIGE.O',
'DIVX.O',
'DJ.N',
'DLM.N',
'DLP.N',
'DNA.N',
'DOX.N',
'DPL.N',
'DQE.N',
'DRC.N',
'DRIV.O',
'DTG.N',
'DWA.N',
'EAC.N',
'EAGL.O',
'EAS.N',
'ECLP.O',
'EDS.N',
'EE.N',
'EFD.N',
'ELK.N',
'ELN.N',
'ELOS.O',
'ELX.N',
'EMC.N',
'ENN.N',
'EP.N',
'EPIC.O',
'EQ.N',
'ERTS.O',
'ESE.N',
'EYE.N',
'FCL.N',
'FCS.N',
'FDO.N',
'FDRY.O',
'FEIC.O',
'FIC.N',
'FLML.O',
'FMCN.O',
'FMER.O',
'FNFG.O',
'FRK.N',
'FRX.N',
'FTO.N',
'GAP.N',
'GAS.N',
'GBBK.O',
'GDP.N',
'GENZ.O',
'GGL.N',
'GI.N',
'GLS.N',
'GLT.N',
'GMR.N',
'GMST.O',
'GMT.N',
'GNA.N',
'GR.N',
'GRP.N',
'GSIC.O',
'GSS.A',
'GT.N',
'GTI.N',
'GTRC.O',
'GTW.N',
'GW.A',
'GYI.N',
'GYMB.O',
'HAS.N',
'HBC.N',
'HC.N',
'HCBK.O',
'HCR.N',
'HET.N',
'HEW.N',
'HGSI.O',
'HIH.N',
'HLYS.O',
'HMA.N',
'HME.N',
'HMN.N',
'HNT.N',
'HNZ.N',
'HOS.N',
'HOT.N',
'HOV.N',
'HPC.N',
'HPT.N',
'HSP.N',
'HUBb.N',
'HXM.N',
'HYDL.O',
'HYSL.O',
'ICO.N',
'ICON.O',
'ID.N',
'IFIN.O',
'IFS.N',
'IKN.N',
'ILA.N',
'IM.N',
'IMCL.O',
'IN.N',
'INFA.O',
'INFY.O',
'INWK.O',
'IPCR.O',
'IPS.N',
'IRC.N',
'IRF.N',
'ISE.N',
'ISIS.O',
'ISLE.O',
'ITG.N',
'ITMN.O',
'IWA.N',
'IWOV.O',
'JAH.N',
'JBX.N',
'JCG.N',
'JH.N',
'JNC.N',
'JNPR.O',
'KCI.N',
'KDN.N',
'KEA.N',
'KFN.N',
'KG.N',
'KKD.N',
'KMP.N',
'KOMG.O',
'KPA.N',
'KRY.A',
'KSE.N',
'KTC.N',
'KWD.N',
'KWK.N',
'KYPH.O',
'LAUR.O',
'LCAV.O',
'LCC.N',
'LDG.N',
'LEAP.O',
'LEE.N',
'LEND.O',
'LFB.N',
'LGF.N',
'LI.N',
'LIFC.O',
'LKQX.O',
'LNCR.O',
'LRY.N',
'LSS.N',
'LTR.N',
'LWSN.O',
'LXK.N',
'LYO.N',
'LZ.N',
'MAR.N',
'MAT.N',
'MATK.O',
'MCCC.O',
'MCGC.O',
'MCRL.O',
'ME.N',
'MEDI.O',
'MEDX.O',
'MEE.N',
'MEL.N',
'MER.N',
'MFE.N',
'MGLN.O',
'MHS.N',
'MIL.N',
'MIR.N',
'MLNM.O',
'MLS.N',
'MOGN.O',
'MOLX.O',
'MPG.N',
'MPS.N',
'MR.N',
'MRBK.O',
'MRD.N',
'MRH.N',
'MRX.N',
'MSTR.O',
'MTD.N',
'MU.N',
'MVL.N',
'MW.N',
'MWAb.N',
'MWV.N',
'MYL.N',
'NAL.N',
'NCC.N',
'NCX.N',
'NDN.N',
'NFP.N',
'NFS.N',
'NHP.N',
'NITE.O',
'NLC.N',
'NMR.N',
'NMX.N',
'NNI.N',
'NOVL.O',
'NRPH.O',
'NST.N',
'NTY.N',
'NVL.N',
'NWY.N',
'NX.N',
'NXG.A',
'NXL.N',
'NXY.N',
'NYB.N',
'OCAS.O',
'OCN.N',
'OCR.N',
'ODP.N',
'OMAB.O',
'OMG.N',
'OMM.N',
'OMTR.O',
'ONB.N',
'ONNN.O',
'OO.N',
'OPSW.O',
'ORB.N',
'ORCL.O',
'ORH.N',
'OSI.N',
'OSIP.O',
'OVTI.O',
'OXPS.O',
'PACR.O',
'PALM.O',
'PAS.N',
'PBG.N',
'PBY.N',
'PCH.N',
'PCL.N',
'PCP.N',
'PCU.N',
'PD.N',
'PDE.N',
'PDLI.O',
'PER.N',
'PETM.O',
'PFCB.O',
'PGI.N',
'PGL.N',
'PHRM.O',
'PL.N',
'PLCM.O',
'PLL.N',
'PLLL.O',
'PLT.N',
'PMCS.O',
'PMI.N',
'PMTI.O',
'PNK.N',
'PNY.N',
'POM.N',
'POS.N',
'PPDI.O',
'PPP.N',
'PPS.N',
'PRE.N',
'PRX.N',
'PSD.N',
'PSSI.O',
'PSUN.O',
'PSYS.O',
'PTR.N',
'PTRY.O',
'PTV.N',
'PXP.N',
'PYX.N',
'QLGC.O',
'QSFT.O',
'RBN.N',
'RCII.O',
'RDA.N',
'RFMD.O',
'RGS.N',
'RKT.N',
'ROH.N',
'RSH.N',
'RTI.N',
'RTP.N',
'RVBD.O',
'RVI.N',
'RX.N',
'RYI.N',
'RYL.N',
'SAF.N',
'SAH.N',
'SAPE.O',
'SAY.N',
'SBIB.O',
'SCHW.O',
'SCRX.O',
'SEPR.O',
'SFC.N',
'SFD.N',
'SFI.N',
'SHPGY.O',
'SIAL.O',
'SIE.N',
'SII.N',
'SIL.A',
'SIMG.O',
'SIRF.O',
'SKIL.O',
'SKS.N',
'SKYF.O',
'SLM.N',
'SLR.N',
'SMOD.O',
'SNDA.O',
'SNDK.O',
'SNH.N',
'SNP.N',
'SOV.N',
'SPIL.O',
'SRX.N',
'SRZ.N',
'SSI.N',
'STEI.O',
'STJ.N',
'STN.N',
'STP.N',
'STR.N',
'STTS.O',
'SUG.N',
'SVM.N',
'SVVS.O',
'SWFT.O',
'SWS.N',
'SWY.N',
'SY.N',
'TAM.N',
'TBL.N',
'TDW.N',
'TE.N',
'TEK.N',
'TEVA.O',
'TG.N',
'THE.N',
'THOR.O',
'THX.N',
'TIBX.O',
'TIE.N',
'TIN.N',
'TKLC.O',
'TLAB.O',
'TLB.N',
'TLM.N',
'TM.N',
'TMX.N',
'TNB.N',
'TNE.N',
'TNOX.O',
'TQNT.O',
'TRA.N',
'TRB.N',
'TRID.O',
'TRW.N',
'TRYb.N',
'TSG.N',
'TSY.N',
'TTI.N',
'TUES.O',
'TWB.N',
'TXI.N',
'TXN.N',
'TXU.N',
'TZIX.O',
'UAPH.O',
'UB.N',
'UBB.N',
'UCO.N',
'UEPS.O',
'UPL.A',
'URS.N',
'USPI.O',
'UST.N',
'UTI.N',
'UTIW.O',
'UVN.N',
'VCI.N',
'VIAb.N',
'VOL.N',
'VPHM.O',
'VRGY.O',
'VRX.N',
'VSEA.O',
'WAG.N',
'WB.N',
'WBSN.O',
'WDC.N',
'WEBX.O',
'WEN.N',
'WFSL.O',
'WL.N',
'WMG.N',
'WMI.N',
'WTS.N',
'WW.N',
'WWY.N',
'XMSR.O',
'XTO.N',
'ZGEN.O',
'ZLC.N',
'ZMH.N',
'ZQK.N',
'ZRAN.O',
'ZUMZ.O',
'ZZ.N',
'CHZ.N',
'PTP.N',
'TSFG.O',
'WITS.O',
'BSTE.O',
'DSX.N',
'MOLXA.O',
'VMSI.O',
'GRT.N',
'ILSE.O',
'IVC.N',
'SVNT.O',
'PAC.N',
'RG.N',
'CBEY.O',
'PJC.N',
'VOLC.O',
'CNH.N',
'MCRS.O',
'GLBC.O',
'SYX.N',
'USIH.O',
'NAVZ.OQ',
'TWGP.O',
'FRPT.O',
'ITC.N',
'KNXA.O',
'ESL.N',
'KSWS.O',
'TDY.N',
'PXR.N',
'CCO.N',
'CEC.N',
'GISX.O',
'KRON.O',
'PTNR.O',
'NAK.A',
'ROIAK.O',
'SLXP.O',
'ARBA.O',
'HLIT.O',
'NEWP.O',
'ZNT.N',
'QMAR.O',
'DECK.O',
'ZOLT.O',
'CCBL.O',
'MTX.N',
'BPT.N',
'ASPV.O',
'BBBB.O',
'GCA.N',
'RAH.N',
'IDC.N',
'SIM.A',
'VMED.O',
'CHTT.O',
'RAIL.O',
'WLSC.O',
'AMIS.O',
'MINI.O',
'STKL.O',
'TCK.N',
'DJO.N',
'TALX.O',
'HRH.N',
'EIG.N',
'ONXX.O',
'USTR.O',
'ARD.N',
'IFSIA.O',
'ALSK.O',
'GFIG.O',
'TEG.N',
'AGYS.O',
'FS.N',
'HBG.N',
'NPO.N',
'RJET.O',
'GLDN.O',
'ARAY.O',
'NETC.O',
'FLA.N',
'TI.N',
'CEDC.O',
'SMRT.O',
'SVR.N',
'TDS.A',
'VTIV.O',
'XTXI.O',
'OPXT.O',
'PGNX.O',
'NTO.A',
'SEH.N',
'JRN.N',
'PTMK.O',
'SIGM.O',
'XNPT.O',
'BARE.O',
'BKMU.O',
'MYE.N',
'PRSP.O',
'VARI.O',
'ANAD.O',
'USNA.O',
'ACO.N',
'RECN.O',
'DRTE.O',
'ISLN.O',
'SGG.O',
'WNG.N',
'WRES.O',
'MEG.N',
'PIR.N',
'USBE.O',
'HNP.N',
'JAS.N',
'BBND.O',
'CYCL.O',
'FCSX.O',
'RNO.A',
'SMSC.O',
'DNDN.O',
'GHCI.O',
'JOSB.O',
'ROSE.O',
'NEU.N',
'RIN.O',
'RT.N',
'CPHD.O',
'CVNS.O',
'TNH.N',
'RESP.O',
'JAKK.O',
'EVVV.O',
'KTO.N',
'MNG.A',
'NM.N',
'WPP.N',
'CELL.O',
'LOOP.O',
'FELE.O',
'CNQR.O',
'INTL.O',
'SUSQ.O',
'MAFB.O',
'PFGC.O',
'SPSS.O',
'ADVS.O',
'ALY.N',
'CMTL.O',
'NILE.O',
'PCS.N',
'WIRE.O',
'CKXE.O',
'DAR.A',
'GB.N',
'VAS.N',
'EDO.N',
'HLTH.O',
'LNY.N',
'SPAR.O',
'RCNI.O',
'ARUN.O',
'CUP.A',
'SFG.N',
'SRR.N',
'ROC.N',
'NWA.N',
'CTR.N',
'RRR.N',
'IHS.N',
'BCSI.O',
'DCM.N',
'VMI.N',
'FTEK.O',
'THRX.O',
'CLRK.O',
'LLNW.O',
'FRZ.N',
'DNN.A',
'SA.A',
'SWHC.O',
'ASTSF.O',
'UPL.N',
'HAYN.O',
'SLT.N',
'CME.N',
'MOD.N',
'NETL.O',
'PHLY.O',
'MHGC.O',
'XRTX.O',
'ARRO.O',
'AXCA.O',
'MGG.N',
'VLCM.O',
'WTNY.O',
'PFWD.O',
'TPP.N',
'WABC.O',
'EXH.N',
'MDTH.O',
'GLYT.O',
'TR.N',
'EXM.N',
'CLNE.O',
'NSH.N',
'PLMD.O',
'CPNO.O',
'GIB.N',
'SMDI.O',
'OWW.N',
'AUXL.O',
'JDAS.O',
'NHWK.O',
'RDEN.O',
'IMO.A',
'PWRD.O',
'FCTR.O',
'PSS.N',
'TKS.N',
'FIX.N',
'EJ.N',
'WX.N',
'PBT.N',
'VIVO.O',
'LIHR.O',
'HSII.O',
'MXIM.OQ',
'TWI.N',
'ZNH.N',
'BDE.N',
'CHA.N',
'NPBC.O',
'HTCH.O',
'PAET.O',
'MWE.N',
'ANW.N',
'CN.N',
'SCUR.O',
'TRAK.O',
'STAR.O',
'DNP.N',
'EXAR.O',
'KNDL.O',
'SCR.N',
'ZINC.O',
'TGB.A',
'CLMS.O',
'LINE.O',
'KEG.N',
'SPRD.O',
'FALC.O',
'UIC.N',
'GSOL.O',
'JRJC.O',
'CETV.O',
'MDG.N',
'MTRX.O',
'PBKS.O',
'AZK.A',
'CTCT.O',
'HTX.N',
'CSR.N',
'NZ.P',
'PDGI.O',
'SNWL.O',
'CYBS.O',
'IOC.A',
'TLEO.O',
'EHTH.O',
'GLG.N',
'PCX.N',
'MFN.A',
'RNOW.O',
'LFT.N',
'TNP.N',
'MV.N',
'CBZ.N',
'DDUP.O',
'CISG.O',
'GA.N',
'TOC.N',
'TESO.O',
'AMCN.O',
'GRO.N',
'TT.N',
'APPX.O',
'MMR.N',
'NPD.N',
'FUN.N',
'IDEV.O',
'OZM.N',
'CPTS.O',
'EPB.N',
'HGT.N',
'PAR.P',
'JAVA.O',
'MWA/B.N',
'PBR/A.N',
'RDS/B.N',
'TRAD.O',
'ARTG.O',
'TRE.A',
'EROC.O',
'HPY.N',
'TBI.N',
'PANL.O',
'TY.N',
'XIDE.O',
'CKP.N',
'RSTI.O',
'LNN.N',
'SDTH.O',
'APL.N',
'RIGL.O',
'ARA.N',
'PCZ.N',
'XIN.N',
'KBW.N',
'SJT.N',
'MATR.O',
'WGOV.O',
'ANH.N',
'SCSC.O',
'SONO.O',
'NWN.N',
'ATN.N',
'HTE.N',
'WRLD.O',
'ASTE.O',
'HURN.O',
'FDG.N',
'SDA.N',
'BLOG.O',
'NWEC.O',
'MRB.A',
'BLT.N',
'SUP.N',
'ASIA.O',
'CLHB.O',
'DCOM.O',
'TC.N',
'ANST.O',
'RTIX.O',
'ZOLL.O',
'VQ.N',
'JRCC.O',
'KOP.N',
'HTV.N',
'MXB.N',
'FEED.O',
'PLM.A',
'SLH.N',
'IPI.N',
'IBI.N',
'STEC.O',
'ZEUS.O',
'PPO.N',
'BEXP.O',
'NYX.N',
'SPSX.O',
'TRLG.O',
'LAYN.O',
'SFSF.O',
'IPHS.O',
'SWIM.O',
'ESMK.O',
'EZPW.O',
'SDXC.O',
'CYBX.O',
'FRED.O',
'ALTH.O',
'APWR.O',
'ARMH.O',
'CRESY.O',
'HTS.N',
'LMDIA.O',
'LO.N',
'SQNM.O',
'TWTC.O',
'WRC.N',
'FSYS.O',
'FOR.N',
'TCL.N',
'TII.N',
'ABI.N',
'KOF.N',
'SNI.N',
'ACAS.O',
'LPS.N',
'EURX.O',
'GTIV.O',
'ACE.N',
'VVUS.O',
'ERII.O',
'CNMD.O',
'MDVN.O',
'SBP.N',
'BLX.N',
'ALGT.O',
'SWSI.O',
'HS.N',
'IRS.N',
'ISCA.O',
'RAX.N',
'IIJI.O',
'IILG.O',
'TKTM.O',
'BBEP.O',
'GEOY.O',
'TIa.N',
'MDRXD.O',
'RGAa.N',
'LGCY.O',
'OTTR.O',
'IRET.O',
'KELYA.O',
'EPIQ.O',
'KB.N',
'MATW.O',
'QCOR.O',
'SPWRA.O',
'CHSI.O',
'SB.N',
'TYL.N',
'VOCS.O',
'RGAb.N',
'GEL.A',
'KMR.N',
'BPZ.A',
'SPWRB.O',
'FMS.N',
'LUFK.O',
'CCRN.O',
'DAC.N',
'AMSG.O',
'OGZP.O',
'HITT.O',
'ISYS.O',
'EBRb.N',
'MORN.O',
'AFAM.O',
'LAB.N',
'SSTI.O',
'LG.N',
'NPSP.O',
'WMZ.N',
'DMND.O',
'CFL.N',
'CPLA.O',
'SSS.N',
'SHG.N',
'MWW.N',
'EGY.N',
'GERN.O',
'ODSY.O',
'HOTT.O',
'APEI.O',
'NVE.N',
'SONE.O',
'AXYS.O',
'DRRX.O',
'FGP.N',
'AIPC.O',
'TSYS.O',
'EDE.N',
'EZCH.O',
'HOGS.O',
'AMSF.O',
'MDAS.O',
'OPTR.O',
'ENZN.O',
'MAXY.O',
'SGTZY.O',
'CLWR.O',
'MOGa.N',
'ENL.N',
'SMA.N',
'CRXL.O',
'IX.N',
'CML.P',
'CYPB.O',
'STBA.O',
'ASEI.O',
'DWA.O',
'CIR.N',
'TISI.O',
'MIM.N',
'APU.N',
'GBG.A',
'CPKI.O',
'DROOY.O',
'FWLT.O',
'LINC.O',
'AHGP.O',
'CRA.O',
'GXDX.O',
'MIG.N',
'CPSI.O',
'IOC.N',
'WG.N',
'ARST.O',
'OSIR.O',
'ERIE.O',
'MYRG.O',
'TRH.N',
'TWC.N',
'VLTR.O',
'ETQ.A',
'AGII.O',
'NBTB.O',
'CTRN.O',
'ITU.N',
'TRK.N',
'CACI.N',
'APP.A',
'TNS.N',
'ASR.N',
'CFSG.O',
'FIRE.O',
'BPI.N',
'OMGI.O',
'RST.N',
'VIT.N',
'GGWPQ.OQ',
'UIL.N',
'SWI.N',
'VITA.O',
'DEP.N',
'FUQI.O',
'EVEP.O',
'GOV.N',
'HRBN.O',
'PLX.A',
'ENP.N',
'MSCS.O',
'PDA.N',
'SVM.A',
'NOVN.O',
'AAV.N',
'DGW.N',
'ROVI.O',
'FICO.N',
'CYD.N',
'ENOC.O',
'KSP.N',
'EMS.N',
'MITI.O',
'ROY.A',
'BCRX.O',
'GLDD.O',
'ISPH.O',
'WCRX.O',
'ITWO.O',
'NVAX.O',
'TGH.N',
'EM.N',
'ANV.A',
'BZ.N',
'CBE.N',
'VPRT.O',
'RINO.O',
'ABVT.N',
'OPEN.O',
'BMC.O',
'THI.N',
'ATLS.O',
'TLVT.O',
'CFN.N',
'SHAW.N',
'AONE.O',
'ART.N',
'GAME.O',
'CML.N',
'GORO.OB',
'TLCR.O',
'EDMC.O',
'EBIX.O',
'PAR.N',
'NZ.N',
'RA.N',
'CRIC.O',
'PEET.O',
'MED.N',
'AGAM.O',
'CADX.O',
'PSE.N',
'DOLE.N',
'TCLP.O',
'RHB.N',
'ARTC.O',
'CAAS.O',
'VSI.N',
'WPRT.O',
'ACOM.O',
'WBD.N',
'CEL.N',
'RUE.O',
'TW.N',
'CLD.N',
'SVN.N',
'CLMT.O',
'FGXI.O',
'AIRV.O',
'BACPRS.N',
'CCM.N',
'PGN.N',
'PVX.N',
'SUNH.O',
'VIP.N',
'MF.N',
'VNR.N',
'XRA.A',
'PPC.N',
'NMM.N',
'SWM.N',
'AOL.N',
'SYA.N',
'NGLS.N',
'DEXO.N',
'CVVT.O',
'SPMD.O',
'EXXI.O',
'GRM.N',
'QNST.O',
'IUSA.O',
'BNE.N',
'NOG.A',
'CQP.A',
'CODI.O',
'EGO.A',
'CAK.A',
'SXE.N',
'FRG.A',
'BKCC.O',
'FPO.N',
'VRUS.O',
'ALTE.O',
'ACTG.O',
'AEC.N',
'DDAIF.OB',
'FSR.N',
'PWER.O',
'DTEGY.OB',
'OPK.A',
'ENTR.O',
'MFB.N',
'IGTE.O',
'SSCC.N',
'ORIT.O',
'SMRC.O',
'ATAC.O',
'RADS.O',
'N.N',
'AEZ.A',
'KOG.A',
'MCP.N',
'TRS.O',
'THM.A',
'MVG.A',
'RDWR.O',
'GFIG.N',
'QLIK.O',
'INET.O',
'HLTOY.O',
'VHC.A',
'BPO.N',
'RLD.N',
'NKA.N',
'UAL.O',
'MIPS.O',
'JNY.N',
'SIGA.O',
'MY.N',
'SNIC.O',
'ELT.N',
'CCME.O',
'TNK.N',
'CODE.N',
'VSTO.OB',
'PACB.O',
'BPZ.N',
'SGTPY.UNKNOWN',
'CMRE.N',
'IMAX.O',
'BRLI.O',
'MAKO.O',
'TGA.O',
'CFFND.O',
'IL.N',
'EXK.A',
'CIS.N',
'AIXG.O',
'PRISb.N',
'VRA.O',
'DANG.N',
'YOKU.N',
'GLF.N',
'HYC.N',
'WSDT.O',
'GEOI.O',
'UTEK.O',
'CLDA.O',
'AZC.A',
'FNMA.OQ',
'PNNT.O',
'AREX.O',
'LXU.N',
'REPYY.OB',
'TDSC.O',
'MERC.O',
'ANN.N',
'SGI.O',
'SIFY.O',
'COV.N',
'AXU.A',
'MHR.N',
'NTSP.O',
'CEVA.O',
'CXS.N',
'QIHU.N',
'TFM.O',
'CALX.N',
'TITN.O',
'UAM.N',
'UAN.N',
'SUBCY.O',
'VNET.O',
'AVEO.O',
'TNAV.O',
'AIMC.O',
'PSMT.O',
'GORO.A',
'ACW.N',
'ZIP.O',
'CATO.N',
'LNKD.N',
'SLRC.O',
'AUQ.N',
'FSL.N',
'SZYM.O',
'SFSF.N',
'EXAM.N',
'SREV.O',
'PCYC.O',
'FIO.N',
'LAVA.O',
'KOG.N',
'ARJ.N',
'ELGX.O',
'BIN.N',
'IDIX.O',
'ESC.N',
'GTAT.O',
'LQDT.O',
'RGP.N',
'XG.A',
'CJES.N',
'CMVT.OB',
'OPK.N',
'APAC.O',
'DTSI.O',
'TRGT.O',
'CMVT.O',
'AIBYY.O',
'DLLR.O',
'OXM.N',
'KAMN.O',
'CALP.O',
'CLW.N',
'MXWL.O',
'KFRC.O',
'LPR.N',
'BEAM.N',
'LSTZA.O',
'IRE.N',
'OPNT.O',
'INHX.O',
'MGI.N',
'RPXC.O',
'XLS.N',
'HITK.O',
'ACTV.N',
'FTK.N',
'FRAN.O',
'ACHN.O',
'IPCM.O',
'CHKR.N',
'ALLT.O',
'AWAY.O',
'BBCN.O',
'MKTG.O',
'KNXA.N',
'BRGYY.OB',
'TNGO.O',
'JIVE.O',
'HTGC.O',
'OCZ.O',
'RSE.N',
'BCPC.O',
'DX.N',
'KNOL.O',
'AVD.N',
'DUF.N',
'CRBC.O',
'CALL.O',
'AMTD.N',
'QRE.N',
'ACAT.O',
'SA.N',
'MOV.N',
'ARCT.O',
'HTSI.N',
'MFRM.O',
'MM.N',
'RNDY.N',
'TUMI.N',
'UNS.N',
'AFFY.O',
'LF.N',
'BCEI.N',
'RFP.N',
'AMTG.N',
'IMPV.N',
'ET.N',
'MODL.O',
'HSH.N',
'PKT.O',
'MAPP.O',
'CTRX.O',
'BKW.N',
'BV.O',
'SUSS.O',
'AVG.N',
'PES.N',
'BTH.N',
'INFI.O',
'STSA.O',
'NTI.N',
'PVR.N',
'DTV.O',
'MITT.N',
'BIOS.O',
'EPL.N',
'VHS.N',
'SNTS.O',
'BLOX.N',
'ASPS.O',
'WAC.A',
'KRFT.O',
'HLSS.O',
'SHFL.O',
'PRLB.N',
'SHF.N',
'WXS.N',
'LNCO.O',
'AEGR.O',
'DWRE.N',
'BNNY.N',
'EXL.N',
'GLRE.O',
'HTWR.O',
'LSI.O',
'CSU.N',
'RKUS.N',
'USNA.N',
'ACCL.O',
'SCTY.O',
'BDBD.O',
'SMP.N',
'WAC.N',
'VVI.N',
'SUSS.N',
'JE.N',
'PMTC.O',
'AXLL.N',
'STRZA.O',
'MX.N',
'HAFC.O',
'AAMRQ.OB',
'CLDX.O',
'TRLA.N',
'LMCA.O',
'PACT.O',
'MGAM.O',
'CCG.N',
'WMC.N',
'FNMA.OB',
'VNR.O',
'LTD.N',
'ARII.O',
'CNCO.N',
'TMUS.N',
'AVIV.N',
'RAS.N',
'LSE.N',
'PCRFY.N',
'AMAP.O',
'OFG.N',
'FRGI.O',
'FMCC.OB',
'AIBYY.OB',
'IMOS.O',
'XONE.O',
'ARPI.N',
'NBG.N',
'SUNE.N',
'HHC.N',
'CSG.N',
'CRWN.O',
'THR.N',
'MEI.N',
'LITB.N',
'SIR.N',
'CHUY.O',
'AVNR.O',
'OUTR.O',
'CSCTF.OB',
'COLE.N',
'NDLS.O',
'CSTE.O',
'CPLP.O',
'XOOM.O',
'RPTP.O',
'SALE.O',
'SGNT.O',
'MKTO.O',
'PNG.N',
'FLTX.N',
'KYTH.O',
'TPLM.A',
'MOVE.O',
'DYAX.O',
'FCS.O',
'LIN.N',
'PBPB.O',
'SFXE.O',
'FF.N',
'TRNX.O',
'RDA.O',
'FLDM.O',
'FUEL.O',
'TCS.N',
'ONVO.A',
'WIBC.O',
'SSLT.N',
'TXTR.N',
'ANAC.O',
'ENT.O',
'GEVA.O',
'ECOL.O',
'NVDQ.O',
'RRTS.N',
'NLNK.O',
'ATHL.N',
'CNVR.O',
'SWAY.N',
'ECOM.N',
'CACQ.O',
'MDCA.O',
'GMCR.O',
'RCPT.O',
'PLUG.O',
'KING.N',
'HAWKB.O',
'HCT.O',
'NDZ.N',
'OPHT.O',
'CPF.N',
'IMS.N',
'JMEI.N',
'RCAP.N',
'RLYP.O',
'KFX.O',
'LE.O',
'CMRX.O',
'YRCW.O',
'LEJU.N',
'MRD.O',
'MRKT.O',
'ECR.N',
'SSE.N',
'XRS.N',
'KNDI.O',
'LOCO.O',
'MOBL.O',
'BDSI.O',
'NVGS.N',
'SDLP.N',
'LTS.A',
'LMCK.O',
'VALEp.N',
'VSLR.N',
'COUP.N',
'RGLS.O',
'TYC.N',
'MMLP.O',
'EXLP.O',
'TTPH.O',
'VA.O',
'ZU.O',
'QUNR.O',
'OVAS.O',
'BRP.N',
'AAVL.O',
'CEMP.O',
'RIOM.N',
'UVE.N',
'SONS.O',
'PLKI.O',
'TW.O',
'DRII.N',
'ONDK.N',
'CKEC.O',
'TLMR.O',
'ASPX.O',
'ZSPH.O',
'TKMR.O',
'SCMP.O',
'LEAF.N',
'PBYI.N',
'ECHO.O',
'CMCM.N',
'BOJA.O',
'CPGX.N',
'TLN.N',
'PSG.N',
'BXLT.N',
'NWBO.O',
'EROS.N',
'REMY.O',
'ZOES.N',
'LDRH.O',
'FDML.O',
'ELNK.O',
'AVOL.N',
'RENT.O',
'NK.O',
'GLBL.O',
'EBSB.O',
'ACET.O',
'DHT.N',
'ADPT.N',
'NRF.N',
'AAON.O',
'CEQP.N',
'TIER.N',
'NRE.N',
'WBAI.N',
'SMLP.N',
'LPG.N',
'NLS.N',
'RUTH.O',
'RUBI.N',
'IOSP.O',
'ALDW.N',
'INO.O',
'CVT.N',
'EBRYY.OB',
'UAc.N',
'SCLN.O',
'SAAS.O',
'CPXX.O',
'AKG.A',
'YDKN.N',
'MCRB.O',
'CERS.O',
'RAVN.O',
'ITGR.N',
'SFS.N',
'ANIP.O',
'LN.N',
'ININ.O',
'GK.O',
'CFNL.O',
'IBP.N',
'OSG.N',
'NEP.N',
'NPTN.N',
'PZE.N',
'TEDU.O',
'CUBI.N',
'LFUS.O']<define_variables>
df_base = p.merge(df_base0,df_base1,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base2,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base14,how='inner',on='item_id')
 df_base = p.merge(df_base,df_base18,how='inner',on='item_id' )
diff_values_train = ['AOBC.O',
'PBYI.O',
'COUP.O',
'HK.N',
'TSRA.O',
'ATKR.N',
'UAA.N',
'CLNS.N',
'OCFC.O',
'TVTY.O',
'OMAM.N',
'CRC.N',
'LGFa.N',
'HBM.N',
'CNDT.N',
'LLL.N',
'REN.N',
'RH.N',
'TWNK.O',
'CEB.N',
'HGV.N',
'PK.N',
'OR.N',
'LOXO.O',
'MC.N',
'VRNS.O',
'TGS.N',
'FWONK.O',
'MPSX.N',
'FWONA.O',
'QGEN.O',
'XPER.O',
'FRME.O',
'GGP.N',
'SRCI.A',
'WBT.N',
'BIVV.O',
'FRAC.N',
'VREX.O',
'JAG.N',
'JELD.N',
'ARCH.N',
'EDIT.O',
'INVH.N',
'GMS.N',
'TELL.O',
'CBB.N',
'UNIT.O',
'GNL.N',
'ACRS.O',
'AKAO.O',
'ELF.N',
'WRD.N',
'COTV.N',
'AAXN.O',
'MLCO.O',
'AAOI.O',
'EXTN.N',
'BEAT.O',
'ATH.N',
'GOGL.O',
'LKSD.N',
'SNAP.N',
'NANO.O',
'YIN.O',
'NTNX.O',
'PPBI.O',
'CACC.O',
'VEON.O',
'DXC.N',
'EXTR.O',
'GOOS.N',
'PUMP.N',
'TCF.N',
'SNOW.N',
'BTU.N',
'MZOR.O',
'IRTC.O',
'ATGE.N',
'SNDR.N',
'MCRN.N',
'UPL.O',
'MB.O',
'KAMN.N',
'PI.O',
'NORD.N',
'VST.N',
'KTOS.O',
'WPM.N',
'ADSW.N',
'TTD.O',
'CLDR.N',
'MT.N',
'NGG.N',
'UBSH.O',
'CJ.N',
'PSDO.O',
'WBK.N',
'CAE.N',
'EQM.N',
'GLOB.N',
'BHGE.N',
'CARS.N',
'REVG.N',
'DFIN.N',
'FND.N',
'PLYA.O',
'XRX.N',
'JHG.N',
'CWH.N',
'ASIX.N',
'NTB.N',
'BTI.N',
'OZRK.O',
'ANDV.N',
'ANDX.N',
'DK.N',
'BGNE.O',
'AABA.O',
'FTR.O',
'ATUS.N',
'NDRM.O',
'CBPO.O',
'SNC.O',
'ARNA.O',
'MSA.N',
'SFR.N',
'UCTT.O',
'SVU.N',
'BL.O',
'SSRM.O',
'DWDP.N',
'JBGS.N',
'BHF.O',
'AXON.O',
'GOLF.N',
'KL.N',
'MYOK.O',
'RDFN.O',
'FLXN.O',
'WDAY.O',
'CLF.N',
'TSLX.N',
'WIFI.O',
'AKCA.O',
'AKBA.O',
'CYTK.O',
'SUPV.N',
'TXMD.O',
'IRT.N',
'AZUL.N',
'NTLA.O',
'VNTR.N',
'AAAP.O',
'BB.N',
'GDS.O',
'RGNX.O',
'MFGP.N',
'ACLS.O',
'BLDP.O',
'TPR.N',
'SNBR.O',
'DBVT.O',
'NVMI.O',
'ANAB.O',
'ZGNX.O',
'AY.O',
'IQV.N',
'SFNC.O',
'YEXT.N',
'PQG.N',
'NMIH.O',
'RXDX.O',
'VHI.N',
'CARG.O',
'TWO.N',
'APTV.N',
'QD.N',
'EGHT.N',
'MULE.N',
'WLL.N',
'CADE.N',
'CIFS.O',
'FANH.O',
'AMGP.N',
'PFG.O',
'WLH.N',
'MTW.N',
'NCLH.N',
'AXGN.O',
'PEP.O',
'AQUA.N',
'WOW.N',
'CTMX.O',
'BOLD.O',
'CNX.N',
'SAVE.N',
'SOGO.N',
'LILAV.O',
'LILKV.O',
'MEDP.O',
'PPDF.N',
'EHC.N',
'NTR.N',
'XEL.O',
'CCT.N',
'WTTR.N',
'SYNH.O',
'BSTI.N',
'QGEN.N',
'CORE.O',
'ENBL.N',
'EYE.O',
'VNOM.O',
'WP.N',
'GES.N',
'CRSP.O',
'OKTA.O',
'CEIX.N',
'LFIN.O',
'CASA.O',
'NMRK.O',
'SASR.O',
'LNTH.O',
'ABLX.O',
'LOMA.N',
'VC.O',
'AVYA.N',
'OEC.N',
'ADMS.O',
'ATNX.O',
'RELX.N',
'BKNG.O',
'WELL.N',
'GNBC.O',
'IOVA.O',
'LBRT.N',
'SNHY.O',
'JRVR.O',
'TEGP.N',
'GLIBA.O',
'PAGS.N',
'REI.A',
'TRUP.O',
'GTES.N',
'FG.N',
'CBRE.N',
'EVBG.O',
'VICI.N',
'FTSI.N',
'SAIL.N',
'BSIG.N',
'PGTI.N',
'CWST.O',
'AMR.O',
'MUFG.N',
'COLL.O',
'TUSK.O',
'GTT.N',
'MRTX.O',
'AYX.N',
'BHVN.N',
'MDGL.O',
'ADAP.O',
'AMWD.O',
'APTI.O',
'COLD.N',
'LX.O',
'SGH.O',
'CISN.N',
'TCP.N',
'ASX_w.N',
'CRON.O',
'FSCT.O',
'DM.N',
'ASGN.N',
'BPY.O',
'HPR.N',
'MRTN.O',
'SEND.N',
'AVGO.O',
'GOL.N',
'ZS.O',
'AMRX.N',
'QRTEA.O',
'AVT.O',
'DBX.O',
'NXEO.O',
'CNNE.N',
'QURE.O',
'TRHC.O',
'BILI.O',
'NSP.N',
'APLS.O',
'IQ.O',
'ROKU.O',
'ABEO.O',
'SCOR.OB',
'SPOT.N',
'TSG.O',
'ARMO.O',
'HWC.O',
'ENVA.N',
'CPLG.N',
'CVIA.N',
'WYND.N',
'JOBS.O',
'SSP.O',
'CARB.O',
'EVRG.N',
'RCM.O',
'TPIC.O',
'EAF.N',
'CLBK.O',
'MDR.N',
'PVTL.N',
'STBZ.O',
'CDAY.N',
'APY.N',
'DOCU.O',
'EQNR.N',
'STAA.O',
'DDR.N',
'PVAC.O',
'CBLK.O',
'ECYT.O',
'STAY.O',
'EQH.N',
'HUYA.N',
'SMPL.O',
'DNLI.O',
'GTHX.O',
'ARWR.O',
'AVNS.N',
'HRG.N',
'TCMD.O',
'TGE.N',
'HLI.N',
'PS.O',
'BHLB.N',
'CVNA.N',
'MDB.O',
'WH.N',
'GSKY.O',
'PRSP.N']<drop_column>
M = np.zeros([df_base.iloc[:,1:].shape[1],df_base.iloc[:,1:].shape[1]])
 for i in np.arange(M.shape[1]):
for j in np.arange(M.shape[1]):
M[i,j] = sqrt(metrics.mean_squared_error(df_base.iloc[:,i+1], df_base.iloc[:,j+1]))
index_list_to_drop = market_train[market_train['assetCode'].isin(drop_list)].index.tolist()
clean_dataset = market_train.drop(market_train.index[index_list_to_drop] )<create_dataframe>
df_base['deal_probability'] = df_base.iloc[:,1:].mean(axis=1 )
<feature_engineering><EOS> 
df_base[['item_id','deal_probability']].to_csv("best_public_blend.csv",index=False )