五色不動は江戸五色不動とも呼ばれており、江戸幕府3代将軍・徳川家光が大僧正・天海の建言により江戸府内から5箇所の不動尊を選び、天下太平を祈願したことに由来するなどの伝説が存在する。