Ubuntu15.10にScrapyをインストール
データがなければ自分で加工すればいいじゃない
Scrapyとは
Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
ScrapyとはPythonのスクレイピングライブラリというかフレームワークで、Webサイトの情報を抽出することができる。要はFireFoxとかChromeといったWebブラウザを使ってWebサイトを見るのではなく、プログラムがWebサイトを見る事を可能にするものだ。Pythonにはいくつかスクレイピング用のライブラリがあるのだが、情報も多そうだしScrapyを使っていこうかと思う。
インストール
pipで一撃
pip install scrapy
といいたいところだけど、Ubuntu15ではライブラリがいくつか必要だった
sudo apt install libxml2-dev libxslt1-dev libffi-dev
これをした後にpipしたらできた。
