スクレイピング系のpythonライブラリ
webページ取得
- urllib
- requests
データの整形
- lxml
- pyquery
- BeautifulSoup4
scrapy
- scrapy shell 例
scrapy shell https://news.yahoo.co.jp/pickup/6300579 response.css('.newsTitle ::text').extract() response.css('.body').xpath('string()').extract() response.css('body').xpath('string()').extract()