一方で五色不動を歴史的に研究したいくつかの報告によると、実際に「五色不動」という名称が登場するのは明治末または大正始めであり、江戸時代の史実とは考えにくいとしているが、伝説自体は江戸時代から伝わる噂話に原型が見られるという。
また名称を別とすれば個々の寺院や不動像自体は江戸時代（以前）からの歴史を持つとされる。特に目黒不動・目白不動・目赤不動については江戸時代の資料からもその名称が確認でき、江戸の名所として「三不動」の名で知られる。
このうち、目黒と目白は山手線の駅名ともなり、特に目黒は区名となっているため著名である。
なお五色不動は基本的に天台宗や真言宗の系統の寺院にあり、密教という点で共通しているが、不動明王に限らず明王は元来密教の仏像である。
五色不動の場所.
各不動尊については史実、複数の目黄および各寺の項目も参照。
伝説.
各寺の説話や、フィクションなどにおける伝説等については細部でばらつきが見られるものの、おおむね以下のような内容が語られることが多い。ここではそのような伝説について記し、史実についての補足は別節に記すものとする。
五色とは密教の陰陽五行説由来し重んじられた青・白・赤・黒・黄でそれぞれ五色は東・西・南・北・中央を表している。
また、その配置には五街道との関連も見られるほか、五色不動を結んだ線の内側が「朱引内」あるいは「江戸の内府」と呼ばれたという都市伝説が語られることもある。
史実.
江戸時代に目黒・目白が存在している。目黒は将軍家光の鷹狩りに関連して尊崇されていた。目白は、将軍家光が目黒にちなんで命名したとも、目白押しから名付けられたともいう。
また、江戸時代初期の動坂（後述）には、伊賀の赤目に由来する赤目不動があったが、家光の命により目赤と名乗るようになり現在地へ移ったと称する。赤目不動の傍には千駄木御鷹部屋があり、目白不動の傍には雑司ケ谷御鷹部屋があった。両者はそれぞれ千駄木 諏訪流、雑司ヶ谷 吉田流と将軍家直々のお抱え鷹匠の地位を確保し、門主は千駄木、雑司が谷で交互に出して幕末まで続いている。