質問: "URL" こちらで指定したURL上のaタグしか抜き出せず困っております。 例えば https://www.rakuten-card.co.jp/ だけでなく https://www.rakuten-card.co.jp/campaign/ のような下層のディレクトリのaタグも取得したい形です。 https://www.rakuten-card.co.jp/** と入力してもエラーで帰ってきてしまい困っております。 お手数ですがご教示いただけないでしょうか
回答: 単なるスクレイピングではカバーできないので、クローリング(サイトを回遊しながら情報を収集する)系の記事を探してみると良いと思います。 方針としては、 * サイトの内部リンクをたどり、サイトに存在するページのリストを作る * 取得できたページに対して、各ページごとにaタグを取る というような感じでやることになります。 けっこう手間がかかるのは確かで、今のコードに少し書き足せば動く、という話ではありません。