喺一個前饋神經網絡當中，每粒人工神經細胞嘅啟動函數只會包含前一排嗰啲細胞嘅啟動程度，，當中  淨係包括前一排嘅細胞嘅啟動程度，所以一個前饋神經網絡每次做由輸入去到輸出嘅運算都係獨立（independent）嘅－喺接收一個輸入嗰陣，程式會按個網絡嘅啟動函數同權重值計個輸出，而下一次再有輸入嗰時，個網絡就會完全忘記上一次輸入留低嘅資訊。