当時大坂から四国へ渡るには淡路島を経由し鳴門から四国入りするルートがあり、鳴門の撫養(むや)の港に最も近い霊山寺を第1番札所としたと推測される。