質問: stack overflowの公開データについて質問です。 利用法やデータ詳細やどのような形で提供されているか等を教えていただきたい(API以外の方法も希望する)。 また、使用するデータは日本語よりも英語版を希望します。 例えば、 アーカイブデータを提供しているサイトはどういったものなのか。 そのデータを使うために何をする必要があるのか。またその具体的な操作手順はどうすればよいのか。 取得できるデータには規制があるのか。 ベストアンサーが付いた質問文の取得にはどうすればよいか。また件数も調べることも可能か。 回答が付いていない質問文の取得にはどうすればよいか。また件数も調べることも可能か。 アーカイブデータよりAPIの方が良いのであれば、どんなところが良いのかまたはどう扱いやすいかを教えていただきたいとともにAPIも同様に上記の例で挙げたようなことをするためにはどうすればよいのかを教えてください。 以上のようなことについてできるだけ詳しく教えてください。
回答: Stack Exchange では以下のような形式でデータを提供しています。 * API - 公式のモバイルアプリでも利用されています。ログインすれば投稿等も可能です * SEDE(Stack Exchange Data Explorer) - 週1回更新。Web上でT-SQLのクエリを投げられます * XMLダンプ - 年4回程度。単独ダウンロード可能なreadme.txtにスキーマが書かれています。 参考 Stack OverflowのQ&AデータにアクセスできるAPIはありますか? 取得できるデータは当然のことながら公開情報に限られます。そのため、ユーザーの個人情報、削除済みの投稿、誰が投票したかといった情報はいずれの方法でも取り出せません。またXMLダンプについてはデータサイズの都合もあり、SEDEと比べてもデータが削られているようです。 それぞれの解説をまとめて書くと長くなってしまいますから、必要であれば個別に質問してください。また Stack Exchange API、T-SQL、XML処理に関する技術的な質問は、(メタでない)スタックオーバーフローで尋ねてもいいと思います。 > > ベストアンサーが付いた質問文の取得にはどうすればよいか。また件数も調べることも可能か。 > > 回答が付いていない質問文の取得にはどうすればよいか。また件数も調べることも可能か。 > > > そのような作業を単発で行いたいのなら、抽出・集計の機能を持たないAPIではリクエスト数が増えますし、巨大なXMLダンプをわざわざダウンロードしてDBに突っ込むのも面倒です。そう考えると、既に用意されているDBにクエリを投げるだけで済むSEDEが簡単でしょう。 例 SEDEでアクセス可能なテーブルのスキーマは編集画面の右側で閲覧できるほか、メタSEでも説明が書かれています。