windows python seleniumでスクレイピング

2022年3月23日

pip自体のバージョンをあげてからseleniumをインストール

pip install –upgrade pip

pip install selenium

以下のサイトから、自分のchromeと同じバージョンのドライバを落とす

https://sites.google.com/chromium.org/driver/

なお、以下は上記の古いサイトなのでNG。

https://sites.google.com/a/chromium.org/chromedriver/downloads

「chromedriver.exe」を、pythonファイルと同じ階層に置く

test.pyを作成し、中身は以下のような感じにする

from selenium import webdriver
import time

driver = webdriver.Chrome()
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-logging"])

time.sleep(1)
driver.get('https://www.google.com')

inputbox = driver.find_element_by_name('q')

inputbox.clear()
inputbox.send_keys("ああああああ")
time.sleep(3)

inputbox.submit()
time.sleep(3)

midasis = driver.find_elements_by_css_selector('#search h3')

for midasi in midasis:
    print(midasi.text)

これで、googleで検索した後に見出しをスクレイピング、表示、というものが完成しました。簡単ですね