【Python】BeautifulSoup,openpyxl で、スクレイピングしたデータをエクセルに保存—世界のGoogleサーチURL—

python
2023.06.14 

/*
 #世界のGoogleサーチURLをスクレイビングでURLとテキストを抽出（ループ） import requests from bs4 import BeautifulSoup import pandas as pd import xlrd import openpyxl as px import os import iourl="https://so-zou.jp/web-app/tech/search-engine/google/url/" res=requests.get(url)#res.text soup = BeautifulSoup(res.text,'html.parser') #soup elems = soup.find_all('li') filepath = r'C:\Users\masak\mysite\BUYMA\test.xlsx' wb = px.load_workbook(filepath, read_only=False) ws = wb['Sheet1'] print(ws['A1'].value) for i, elem in enumerate(elems): if 20 <= i <= 192: link = elem.find('a') search_url = link.attrs['href'] country = link.contents[1] print(i,search_url,country) #A列にリストを書き込み ws.cell(row=i, column=1, value=search_url) #B列にリストを書き込み ws.cell(i, 2).value = country #別名で保存 wb.save(filepath)
 */
/*

#世界のGoogleサーチURLをスクレイビングでURLとテキストを抽出（ループ）
import requests
from bs4 import BeautifulSoup
import pandas as pd
import xlrd
import openpyxl as px
import os
import io

url=”https://so-zou.jp/web-app/tech/search-engine/google/url/”
res=requests.get(url)

#res.text
soup = BeautifulSoup(res.text,‘html.parser’)
#soup
elems = soup.find_all(‘li’)
filepath = r‘C:\Users\masak\mysite\BUYMA\test.xlsx‘
wb = px.load_workbook(filepath, read_only=False)
ws = wb[‘Sheet1’]
print(ws[‘A1’].value)
for i, elem in enumerate(elems):
if 20 <= i <= 192:
link = elem.find(‘a’)
search_url = link.attrs[‘href’]
country = link.contents[1]
print(i,search_url,country)
        #A列にリストを書き込み
ws.cell(row=i, column=1, value=search_url)
        #B列にリストを書き込み
ws.cell(i, 2).value = country
#別名で保存
wb.save(filepath)


 */
/結果/
20 https://www.google.is/?gl=is アイスランド
21 https://www.google.ie/?gl=ie アイルランド
22 https://www.google.az/?gl=az アゼルバイジャン
23 https://www.google.com.af/?gl=af アフガニスタン
24 https://www.google.com/?gl=us アメリカ合衆国
25 https://www.google.co.vi/?gl=vi アメリカ領ヴァージン諸島
26 https://www.google.as/?gl=as アメリカ領サモア
27 https://www.google.ae/?gl=ae アラブ首長国連邦
28 https://www.google.dz/?gl=dz アルジェリア
29 https://www.google.com.ar/?gl=ar アルゼンチン
30 https://www.google.am/?gl=am アルメニア
31 https://www.google.com.ai/?gl=ai アンギラ
32 https://www.google.co.ao/?gl=ao アンゴラ
33 https://www.google.com.ag/?gl=ag アンティグア・バーブーダ
34 https://www.google.ad/?gl=ad アンドラ
35 https://www.google.co.uk/?gl=gb イギリス
36 https://www.google.vg/?gl=vg イギリス領ヴァージン諸島
37 https://www.google.co.il/?gl=il イスラエル
38 https://www.google.it/?gl=it イタリア
39 https://www.google.co.in/?gl=in インド
40 https://www.google.co.id/?gl=id インドネシア
41 https://www.google.co.ug/?gl=ug ウガンダ
42 https://www.google.com.ua/?gl=ua ウクライナ
43 https://www.google.co.uz/?gl=uz ウズベキスタン
44 https://www.google.com.uy/?gl=uy ウルグアイ
45 https://www.google.com.ec/?gl=ec エクアドル
46 https://www.google.com.eg/?gl=eg エジプト
47 https://www.google.ee/?gl=ee エストニア
48 https://www.google.com.et/?gl=et エチオピア
49 https://www.google.com.sv/?gl=sv エルサルバドル
50 https://www.google.com.au/?gl=au オーストラリア
51 https://www.google.at/?gl=at オーストリア
52 https://www.google.com.om/?gl=om オマーン
53 https://www.google.nl/?gl=nl オランダ
54 https://www.google.com.gh/?gl=gh ガーナ
55 https://www.google.gg/ ガーンジー島
56 https://www.google.gy/?gl=gy ガイアナ
57 https://www.google.kz/?gl=kz カザフスタン
58 https://www.google.com.qa/?gl=qa カタール
59 https://www.google.ca/?gl=ca カナダ
60 https://www.google.gm/?gl=gm ガンビア
61 https://www.google.com.kh/?gl=kh カンボジア
62 https://www.google.com.cu/?gl=cu キューバ
63 https://www.google.gr/?gl=gr ギリシャ
64 https://www.google.ki/?gl=ki キリバス
65 https://www.google.kg/?gl=kg キルギス
66 https://www.google.com.gt/?gl=gt グアテマラ
67 https://www.google.gp/?gl=gp グアドループ島
68 https://www.google.com.kw/?gl=kw クウェート
69 https://www.google.co.ck/?gl=ck クック諸島
70 https://www.google.gl/?gl=gl グリーンランド
71 https://www.google.ge/?gl=ge グルジア
72 https://www.google.hr/?gl=hr クロアチア
73 https://www.google.co.ke/?gl=ke ケニア
74 https://www.google.ci/?gl=ci コートジボワール
75 https://www.google.co.cr/?gl=cr コスタリカ
76 https://www.google.com.co/?gl=co コロンビア
77 https://www.google.cg/?gl=cg コンゴ共和国
78 https://www.google.cd/?gl=cd コンゴ民主共和国
79 https://www.google.com.sa/?gl=sa サウジアラビア
80 https://www.google.ws/?gl=ws サモア
81 https://www.google.st/?gl=st サントメ・プリンシペ
82 https://www.google.co.zm/?gl=zm ザンビア
83 https://www.google.sm/?gl=sm サンマリノ
84 https://www.google.com.sl/?gl=sl シエラレオネ
85 https://www.google.dj/?gl=dj ジブチ
86 https://www.google.com.gi/?gl=gi ジブラルタル
87 https://www.google.je/ ジャージー島
88 https://www.google.com.jm/?gl=jm ジャマイカ
89 https://www.google.com.sg/?gl=sg シンガポール
90 https://www.google.co.zw/?gl=zw ジンバブエ
91 https://www.google.ch/?gl=ch スイス
92 https://www.google.se/?gl=se スウェーデン
93 https://www.google.es/?gl=es スペイン
94 https://www.google.lk/?gl=lk スリランカ
95 https://www.google.sk/?gl=sk スロバキア
96 https://www.google.si/?gl=si スロベニア
97 https://www.google.sc/?gl=sc セーシェル
98 https://www.google.sn/?gl=sn セネガル
99 https://www.google.rs/?gl=rs セルビア
100 https://www.google.com.vc/?gl=vc セントビンセントおよびグレナディーン諸島
101 https://www.google.sh/?gl=sh セントヘレナ島
102 https://www.google.com.sb/?gl=sb ソロモン諸島
103 https://www.google.co.th/?gl=th タイ
104 https://www.google.co.kr/?gl=kr 大韓民国
105 https://www.google.com.tw/?gl=tw 台湾 (台湾省/中華民国)
106 https://www.google.com.tj/?gl=tj タジキスタン
107 https://www.google.co.tz/?gl=tz タンザニア
108 https://www.google.cz/?gl=cz チェコ
109 https://www.google.cf?gl=cf 中央アフリカ
110 https://www.google.com.hk/?gl=hk 中華人民共和国
111 https://www.google.cl/?gl=cl チリ
112 https://www.google.dk/?gl=dk デンマーク
113 https://www.google.de/?gl=de ドイツ
114 https://www.google.tk/?gl=tk トケラウ諸島
115 https://www.google.com.do/?gl=do ドミニカ共和国
116 https://www.google.dm/?gl=dm ドミニカ国
117 https://www.google.tt/?gl=tt トリニダード・トバゴ
118 https://www.google.tm/?gl=tm トルクメニスタン
119 https://www.google.com.tr/?gl=tr トルコ
120 https://www.google.to/?gl=to トンガ
121 https://www.google.com.ng/?gl=ng ナイジェリア
122 https://www.google.nr/?gl=nr ナウル
123 https://www.google.com.na/?gl=na ナミビア
124 https://www.google.nu/?gl=nu ニウエ
125 https://www.google.com.ni/?gl=ni ニカラグア
126 https://www.google.co.jp/?gl=jp 日本
127 https://www.google.co.nz/?gl=nz ニュージーランド
128 https://www.google.com.np/?gl=np ネパール
129 https://www.google.com.nf/?gl=nf ノーフォーク島
130 https://www.google.no/?gl=no ノルウェー
131 https://www.google.com.bh/?gl=bh バーレーン
132 https://www.google.ht/?gl=ht ハイチ
133 https://www.google.com.pk/?gl=pk パキスタン
134 https://www.google.com.pa/?gl=pa パナマ
135 https://www.google.vu/?gl=vu バヌアツ
136 https://www.google.bs/?gl=bs バハマ
137 https://www.google.com.py/?gl=py パラグアイ
138 https://www.google.hu/?gl=hu ハンガリー
139 https://www.google.com.bd/?gl=bd バングラデシュ
140 https://www.google.tl/?gl=tl 東ティモール
141 https://www.google.pn/?gl=pn ピトケアン
142 https://www.google.com.fj/?gl=fj フィジー
143 https://www.google.com.ph/?gl=ph フィリピン
144 https://www.google.fi/?gl=fi フィンランド
145 https://www.google.com.pr/?gl=pr プエルトリコ
146 https://www.google.com.br/?gl=br ブラジル
147 https://www.google.fr/?gl=fr フランス
148 https://www.google.bg/?gl=bg ブルガリア
149 https://www.google.com.bn/?gl=bn ブルネイ
150 https://www.google.bi/?gl=bi ブルンジ
151 https://www.google.com.vn/?gl=vn ベトナム
152 https://www.google.bj/?gl=bj ベナン
153 https://www.google.co.ve/?gl=ve ベネズエラ
154 https://www.google.by/?gl=by ベラルーシ
155 https://www.google.com.bz/?gl=bz ベリーズ
156 https://www.google.com.pe/?gl=pe ペルー
157 https://www.google.be/?gl=be ベルギー
158 https://www.google.pl/?gl=pl ポーランド
159 https://www.google.ba/?gl=ba ボスニア・ヘルツェゴビナ
160 https://www.google.co.bw/?gl=bw ボツワナ
161 https://www.google.com.bo/?gl=bo ボリビア
162 https://www.google.pt/?gl=pt ポルトガル
163 https://www.google.com.hk/?gl=hk 香港
164 https://www.google.hn/?gl=hn ホンジュラス
165 https://www.google.mg/?gl=mg マダガスカル
166 https://www.google.mw/?gl=mw マラウイ
167 https://www.google.com.mt/?gl=mt マルタ
168 https://www.google.com.my/?gl=my マレーシア
169 https://www.google.im/ マン島
170 https://www.google.fm/?gl=fm ミクロネシア連邦
171 https://www.google.co.za/?gl=za 南アフリカ
172 https://www.google.com.mx/?gl=mx メキシコ
173 https://www.google.mu/?gl=mu モーリシャス
174 https://www.google.co.mz/?gl=mz モザンビーク
175 https://www.google.mv/?gl=mv モルディブ
176 https://www.google.md/?gl=md モルドバ
177 https://www.google.co.ma/?gl=ma モロッコ
178 https://www.google.mn/?gl=mn モンゴル
179 https://www.google.me/?gl=me モンテネグロ
180 https://www.google.ms/?gl=ms モントセラト
181 https://www.google.jo/?gl=jo ヨルダン
182 https://www.google.la/?gl=la ラオス
183 https://www.google.lv/?gl=lv ラトビア
184 https://www.google.lt/?gl=lt リトアニア
185 https://www.google.com.ly/?gl=ly リビア
186 https://www.google.li/?gl=li リヒテンシュタイン
187 https://www.google.ro/?gl=ro ルーマニア
188 https://www.google.lu/?gl=lu ルクセンブルク
189 https://www.google.rw/?gl=rw ルワンダ
190 https://www.google.co.ls/?gl=ls レソト
191 https://www.google.com.lb/?gl=lb レバノン
192 https://www.google.ru/?gl=ru ロシア

タイトルとURLをコピーしました