Python + BeautifulSoup でスクレイピングしてみる

BeautifulSoup でスクレイピングしてみる

Google 検索結果

Google検索結果から得られるURLを一覧化する

import requests as web
import bs4
import csv

# キーワード
list_keywd = ['機械学習','統計']
query='https://www.google.co.jp/search?num=10&q=' + '　'.join(list_keywd)

# 検索
resp = web.get(query)
resp.raise_for_status()

# HTMLをパース
soup = bs4.BeautifulSoup(resp.text, "html.parser")

tgtlist=soup.find_all('h3',class_="r")
for tgt in tgtlist:
    a=tgt.find("a")
    print("TITLE: ",a.text)
    print("URL:   ",a.attrs["href"])
    print("")

結果

TITLE:  「統計学と機械学習の違い」はどう論じたら良いのか - 六本木で働くデータ ...
URL:    /url?q=https://tjo.hatenablog.com/entry/2015/09/17/190000&sa=U&ved=0ahUKEwixu7Dq-uLdAhXCyrwKHdzbB1EQFggZMAA&usg=AOvVaw0r84VVNGjd-KSLrLAzcMGd

TITLE:  結局、機械学習と統計学は何が違うのか？ - Qiita
URL:    /url?q=https://qiita.com/KanNishida/items/8ab8553b17cb57e772d6&sa=U&ved=0ahUKEwixu7Dq-uLdAhXCyrwKHdzbB1EQFggfMAE&usg=AOvVaw3Cbd5LgaS0tpZ4BQnvjpAK

TITLE:  データ分析の事始め〜統計学と機械学習の違い〜 | 株式会社豆蔵
URL:    /url?q=https://www.mamezou.com/techinfo/bigdata/dataana_kotohajime&sa=U&ved=0ahUKEwixu7Dq-