質問: soup.find_all('cite') for page in page_url: print(page) ``` ### 試したこと ここに問題に対して試したことを記載してください。 ### 補足情報(FW/ツールのバージョンなど) ここにより詳細な情報を記載してください。
回答: link が取れてるなら、それを for で回して、Google のサイトをスクレイピングしたのと同じやり方で各サイトにアクセスしていけばよいと思います。 ``` import requests from bs4 import BeautifulSoup # 検索する。 keywd = 'Python' res = requests.get('https://www.google.co.jp/search?gl=jp&q={}'.format(keywd)) soup = BeautifulSoup(res.text, 'html.parser') # 検索 titles = [] for tag in soup.select('.r'): titles.append(tag.text) #検索結果URL links = [] for tag in soup.find_all('cite'): links.append(tag.text) h2_list = [] for link in links: res = requests.get(link) soup = BeautifulSoup(res.text, 'html.parser') h2_titles = [tag.text for tag in soup.find_all('h2')] h2_list.append(h2_titles) ``` ``` for title, link, h2s in zip(titles, links, h2_list): print('title:', title) print('link:', link) for h2 in h2s: print('h2:', h2) print('-------------------------------------') ``` ```title: Python - Wikipedia link: https://ja.wikipedia.org/wiki/Python h2: 目次 h2: 概要[編集] h2: 歴史[編集] h2: 言語の機能[編集] h2: 利用[編集] h2: フレームワーク[編集] h2: 脚注[編集] h2: 関連項目[編集] h2: 外部リンク[編集] h2: 案内メニューtitle: 専門知識いらず!Pythonとは?言語の特徴から網羅的に徹底解説 | 侍 ... link: https://www.sejuku.net/blog/7720 h2: Pythonとは? h2: Pythonの特徴とメリット h2: Pythonで作れるもの h2: Pythonの基礎の基礎 h2: Pythonの仕事市場 h2: Pythonで仕事獲得をするには h2: まとめ h2: WEBアプリ開発入門者がゼロからモノを作れるようになるまでの5ステップ h2: 【入門者必見】Swiftを学ぶメリットやできることを徹底解説! h2: 【Python入門】Djangoとは?webアプリ開発の第一歩 h2: 狙い目はココ!Pythonの機械学習を効率的に学べる本を厳選7冊 h2: 【Python入門】randomモジュールの使い方まとめ h2: 【全7冊】Python3の入門書はこれで決まり!レベル別に紹介!title: Python | プログラミングの入門なら基礎から学べるProgate[プロゲート] link: https://prog-8.com/languages/pythontitle: 今さら聞けない!Pythonとは【初心者向け】 | TechAcademyマガジン link: https://techacademy.jp/magazine/15507 h2: 目次 h2: Pythonとは h2: Pythonで作れるもの h2: Pythonを使うメリット・デメリット h2: 基本構文 h2: まとめ ...以下略 ```