典型的なエッジは、例えば赤のブロックと黄色のブロックの間の境界がある。一方、直線状のものは数ピクセル幅の色が異なる部分が背景と違っている。この場合、その物体の両サイドにエッジを検出することになる。エッジは画像処理の多くの応用で極めて重要な役割を担っており、特にマシンビジョンシステムで制御された照明下で製品を撮影して、それを解析する場合によく使われる。しかし、では前処理としてエッジ検出を行わずに画像処理する手法の研究が進んでいる。単純なエッジモデル.書籍には理想的なエッジの検出が説明されているが、実際の画像から得られるエッジは理想のエッジとは程遠く、一般に以下のような点に影響を受ける。エッジ検出法.画像の輝度の勾配を見積もる方法はいくつもある。最も単純な方法は次のような中央差分の式で表される。これは、次のようなフィルタで画像をマスクするのに相当する。比較的古くからあるは、次のフィルタに基づいている。このとき勾配の方向は次のように見積もられる。同様の手法としては他にもやがある。しきい値処理と連結処理.勾配の大きさなどでエッジの強さを計算すると、次にしきい値を適用して必要なエッジだけを抽出する必要がある。しきい値を低く設定すればエッジは多くなり、ノイズの影響を受けやすくなるため、画像の本質的でない特徴を捉えてしまいやすくなる。逆にしきい値を高く設定すると断片化したエッジしか得られないことになる。適切なしきい値を求めるために一般に使われる手法は、ヒステリシスを伴った適応的しきい値処理と呼ばれる手法である。これは、複数のしきい値を使うもので、まず最大のしきい値でエッジの始点を求める。始点が見つかったら、そこからエッジがどう続いているかをピクセル単位に検討していき、最小のしきい値より上のエッジ箇所を全て見ていき、しきい値未満になった時点で追跡をやめる。この手法はエッジが連続的な曲線になっていると仮定しており、不要なエッジを検出することなく、必要なエッジのかすかな部分も検出できるという利点がある。それでも適切なしきい値を選択する問題は残っており、一般に画像によって適切なしきい値は異なる。