Mạng thần kinh
Lịch sử khái niệm mạng neural

Bài chi tiết: Connectionism
Khái niệm mạng neural được bắt đầu vào cuối thập kỷ 1800 khi người ta cố gắng mô tả hoạt động của trí tuệ con người. Ý tưởng này bắt đầu được áp dụng cho các mô hình tính toán từ mạng Perceptron.
Đầu thập kỷ 1950 Friedrich Hayek là người đầu tiên khẳng định ý tưởng về trật tự tự phát trong não xuất phát từ các mạng phân tán gồm các đơn vị đơn giản (neural). Cuối thập kỷ 1940, Donnald Hebb đưa ra giả thuyết đầu tiên về một cơ chế thần kinh mềm dẻo (neural plasticity), Hebbian learning (???). Hebbian learning được coi là một quy tắc 'điển hình' của học không có giám sát. Nó (và các biến thể) là mô hình thời kỳ đầu của long term potentiation (tạo tiềm lực dài hạn).
Perceptron là một bộ phân loại tuyến tính dành cho việc phân loại dữ liệu  x\in R^{n} xác định bằng các tham số  w\in R^{n},b\in R và một hàm đầu ra  f=w'x+b. Các tham số của nó được thích nghi với một quy tắc tùy biến (ad-hoc) tương tự với xuống dốc ngẫu nhiên (stochastic steepest gradient descent). Perceptron chỉ có thể phân loại hoàn hảo một tập dữ liệu mà các lớp khác nhau là phân tách tuyến tính (linearly separable) trong không gian đầu vào. Nó thường thất bại hoàn toàn đối với dữ liệu không chia tách được. Sự phát triển của thuật toán này ban đầu đã tạo ra một số hứng khởi, phần vì mối quan hệ của nó đối với các cơ chế sinh học. Sau này, phát hiện về điểm yếu này đã làm cho các mô hình Perceptron bị bỏ mặc cho đến khi các mô hình phi tuyến được đưa ra.
Cognitron (1975) là một mạng neural đa tầng thời kỳ đầu với một thuật toán huấn luyện. Các chiến lược thần kinh khác nhau sẽ khác nhau về cấu trúc thực sự của mạng và các phương pháp thiết lập trọng số cho các kết nối. Mỗi dạng có các ưu điểm và nhược điểm riêng. Mạng có thể lan truyền thông tin chỉ theo một hướng, hoặc thông tin có thể được đẩy đi đẩy lại cho đến khi tại một nút xuất hiện sự tự kích hoạt và mạng sẽ dừng tại một trạng thái kết thúc. Khả năng truyền dữ liệu hai chiều giữa các neural/nút còn được sử dụng trong mạng Hopfield (1982), và sự chuyên hóa các tầng nút này cho các mục đích cụ thể đã được đưa ra trong mạng neural lai (hybrid neural network) đầu tiên.
Giữa thập kỷ 1980, xử lý phân tán song song (parallel distributed processing) trở nên một chủ đề thu hút được nhiều quan tâm dưới cái tên connectionism.
Mạng truyền ngược (backpropagation) có lẽ đã là nguyên nhân chính của sự tái xuất của mạng neural từ khi công trình "Learning Internal Representations by Error Propagation" (học các biểu diễn bên trong bằng cách lan truyền lỗi) được xuất bản năm 1986. Mạng truyền ngược ban đầu sử dụng nhiều tầng, mỗi tầng gồm các đơn vị tổng-trọng-số có dạng  f=g(w'x+b), trong đó  g là một hàm kích hoạt (activation function, có thể là sigmoid, ReLU, ...). Huấn luyện được thực hiện theo kiểu xuống dốc ngẫu nhiên. Việc sử dụng quy tắc tính nguyên hàm cho hàm hợp (chain rule) khi tính toán các thay đổi thích hợp cho các tham số dẫn đến một thuật toán có vẻ 'truyền ngược lỗi'. Đó là nguồn gốc của thuật ngữ truyền ngược. Tuy nhiên, về bản chất, đây chỉ là một dạng xuống dốc. Việc xác định các tham số tối ưu cho một mô hình thuộc dạng này không đơn giản, không thể dựa vào các phương pháp xuống dốc để có được lời giải tốt mà không cần một xuất phát điểm tốt. Ngày nay, các mạng có cùng kiến trúc với mạng truyền ngược được gọi là các mạng Perceptron đa tầng. Thuật ngữ này không hàm ý bất cứ giới hạn nào đối với loại thuật toán dùng cho việc học.
Mạng truyền ngược đã tạo ra nhiều hứng khởi và đã có nhiều tranh cãi về chuyện quy trình học đó có thể được thực hiện trong bộ não hay không. Một phần vì khi đó chưa tìm ra cơ chế truyền tín hiệu ngược. Nhưng lý do quan trọng nhất là chưa có một nguồn tín hiệu 'dạy' hay tín hiệu 'đích' đáng tin cậy.
Ngày nay, các nhà thần kinh học đã thành công trong việc tìm ra mối liên hệ giữa học tăng cường và hệ thống hưởng thưởng dopamine (dopamine system of reward). Tuy nhiên, vai trò của nó và các neuromodulator khác vẫn đang được nghiên cứu.