要製作一個深度嘅神經網絡，最直接嘅做法係輸入輸出疊放（input-output stacking）即係首先用監督式學習訓練一部多層感知機（MLP）等呢個網絡訓練好，能夠俾出正確嘅輸出，就用呢個網絡嘅輸出做下一部多層感知機嘅輸入，要嗰個新網絡做監督式學習，學到能夠準確噉由先前嗰個網絡嘅輸出嗰度計出下一層嘅輸出，如此類推，直至到製作出一個每層都表示到有用知識嘅深度疊放網絡（deep stacking network）。