【VBA】楽天ランキングページをWebスクレイピング③

...

thanaism.com

2020.06.16

コードのおさらい

前回まで使用していたコードは以下のようなものでした。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")
    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

４位以下を取得したい場合

今回は、1位～3位を取得する前提であったため、「rnkRanking_top3box」というクラス名で要素を取得しました。

    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")

4位以下を取得したい場合は、4位以下の商品が含まれる要素を指定すれば良いです。Google開発者ツールで確認してみてください。

楽天へのアクセス回数が多くならないか？

ランキングページには、1位～80位までの80件の商品が掲載されています。
前述の方法（4位以下を取得する）を使うことで、一度に80件の商品情報をWebスクレイピングによって取得することが可能です。

そんな中で、「1回に80アクセスもしたら楽天からペナルティを受けるのではないか？」と懸念される方、いるのではないでしょうか？

結論から言うと、問題はありません。
その理由について説明します。

サーバーへのアクセス回数

このような懸念をされる方は、「サーバーに80回アクセスする」と考えているのだと思いますが、実際は、「サーバーへのアクセス回数は１回」です。

サーバーへのアクセスタイミング

では、サーバーへのアクセスがどのタイミングで行われるのか、ソースコードで確認してみましょう。

「サーバーに80回アクセスする」と考えている方は、以下のところでサーバーにアクセスしているという認識なのだと思います。

    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product

実際は以下のところになりますので、サーバーへのアクセスは1回のみです。
上の処理は、「サーバーから取得済のデータ」を使って商品名や価格などを取得しているので、サーバーへのアクセスは行われません。

    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")

タナイ

何度もアクセスするような無駄なプログラムにせず、1度のアクセスでより多くの情報を取れないか検討することが望ましいです。

今回は、取得した商品の「値」の取得方法を説明します。

【VBA】楽天ランキングページをWebスクレイピング②

...

thanaism.com

2020.06.15

商品のHTMLソースを取得する

商品１件のHTMLソースをコピーして、中身を見てみましょう。
以下の手順で実行します。

HTMLの中身を確認する

取得したHTMLの中身を確認してみましょう。

要素の取得

「要素」の取得方法について検討します。

商品名とURLは「rnkRanking_itemName」、価格は「rnkRanking_price」のクラス名を持つタグに含まれていましたので、「getElementsByClassName」で取得できそうです。

値の取得

要素に含まれる「値」の取得方法を検討します。

まず、商品名と価格は前回使用した「innerText」プロパティで取得できそうです。

「URL」について、取得したい値はこれまでに説明した「innerText」「outerHtml」等のプロパティではなく、＜a＞タグに含まれる「href＝”….”」の部分になります。取得方法が異なるので、注意が必要です。

name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
price = product.getElementsByClassName("rnkRanking_price")(0).innerText
url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href

次回の予定

VBAで楽天ランキングページをWebスクレイピングで取得するための説明は以上となります。

次回の記事ではまとめと補足説明を行います。

【VBA】楽天ランキングページをWebスクレイピング①

...

thanaism.com

2020.06.14

ページ全体を取得する

この部分は、URLにランキングページを指定したこと以外は、前回と同じなので説明を割愛します。

    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop

「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。

「商品」が取得したページのどの部分になるか、HTMLを見ながら検討してみましょう。
HTMLの確認には「Google開発者ツール」で確認します。

「Google開発者ツール」を使ったHTMLの確認手順

ランキングページの該当箇所を選択すると、「rnkRanking_top3box」というクラス名のタグが出てきます。
名前から見ても、このタグが商品1件に対応するタグのようです。

このクラス名をキーに、HTMLを取得してみます。
クラス名から取得するには「getElementsByClassName」を使用します。

    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")
    

ブレークポイントで「products」オブジェクトの内容を確認すると、「Item1」～「Item3」の3件が取得できていることが分かります。ランキング１位～３位の商品が取得できたようです。

次回の予定

次回は、取得した商品から「値」を抽出していきます。

【VBA】Webスクレイピング-06：取得した要素からテキストを抜き出す

...

thanaism.com

2020.05.19

大まかな流れ

Webスクレイピングに必要な処理は毎回ほぼ同じ

こうして見ると、大まかな流れは前回の記事とほとんど変わらないことが分かります。
一度全体の流れが理解できれば、処理が異なる一部だけを対象ページ、データに合わせてアレンジすれば応用が可能です。

１．「ページ全体」を取得する

この部分は、前回と同じ方法が使えそうです。

２．「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。

「商品」が取得したページのどの部分になるか、HTMLを見ながら検討が必要になりそうです。

３．「商品」から、「値」（商品名、価格、URL）を取得する。

２と同様、HTMLを見ながら検討が必要になりそうです。

４．「値」を書きだす。

取得した値を書きだします。
今回は「商品名」「価格」「商品詳細ページのURL」を対象とします。

５．２～４を商品の数だけ繰り返す

ランキングページには複数の商品が掲載されているので、商品の数だけ繰り返します。
今回のサンプルでは１位～３位の商品を出力します。

サンプルソース

実際のソースと実行結果は以下のようになります。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")
    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

次回の予定

次回以降、手順に沿って具体的な説明に入ります。

【VBA】Webスクレイピング-05：HTMLからデータを取り出す（Id／タグ名など）

...

thanaism.com

2020.05.18

それでは、前回の続きとして、idやclass等で抜き出したタグ含みの情報からどうやって欲しいテキストを抽出していくかについて解説していきましょう。

テキストが格納されているプロパティ

取得した「要素」に含まれている「プロパティ」にテキストが格納されています。
プロパティは、以下の４種類があります。

• outerHTML
  要素と、要素に含まれるHTML全体
• outerText
  要素と、要素に含まれるHTML全体の中で、画面にテキストとして表示される部分
• innerHTML
  要素に含まれるHTML全体（要素そのものは含まない）
• innerText
  要素に含まれるHTML全体の中で、画面にテキストとして表示される部分（要素そのものは含まない）

サンプルコード

それぞれのプロパティを表示してみましょう。
前回と同様に、WikiPediaの「VBA」というページにアクセスしてみます。
https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications

「id=”cite_note-13″」の要素を取得し、前述の４つのプロパティを表示します。。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim elmById As Object
    Set elmById = ie.Document.getElementById("cite_note-13")
    Debug.Print ("＝＝＝＝＝outerHTML＝＝＝＝＝")
    Debug.Print (elmById.outerHTML)
    Debug.Print ("＝＝＝＝＝outerText＝＝＝＝＝")
    Debug.Print (elmById.outerText)
    Debug.Print ("＝＝＝＝＝innerHTML＝＝＝＝＝")
    Debug.Print (elmById.innerHTML)
    Debug.Print ("＝＝＝＝＝innerText＝＝＝＝＝")
    Debug.Print (elmById.innerText)
            
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

イミディエイトウィンドウに、以下のように出力されていれば、取得成功です。

＝＝＝＝＝outerHTML＝＝＝＝＝
<li id="cite_note-13"><b><a href="#cite_ref-13">^</a></b> <span class="reference-text"><a class="external text" href="https://support.office.com/ja-jp/article/a97c09d2-c082-46b8-b19f-e8621e8fe373" rel="nofollow">Excel のマクロのセキュリティ設定を変更する - Excel</a></span>
</li>
＝＝＝＝＝outerText＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel 
＝＝＝＝＝innerHTML＝＝＝＝＝
<b><a href="#cite_ref-13">^</a></b> <span class="reference-text"><a class="external text" href="https://support.office.com/ja-jp/article/a97c09d2-c082-46b8-b19f-e8621e8fe373" rel="nofollow">Excel のマクロのセキュリティ設定を変更する - Excel</a></span>

＝＝＝＝＝innerText＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel 

各プロパティの取得内容比較

outerHTMLを基準に、各プロパティの表示内容は以下のようになります。
・「outer」は要素自体を含み、「inner」は含まない
・「HTML」はHTMLそのものを表示し、「Text」は表示用のテキスト部のみを表示する。

Webスクレイピングについて

Webスクレイピングの基本的な内容は以上となります。

意外と簡単に取得できることがお分かりいただけたかと思います。

タナイ

今回解説した内容は、あくまでHTMLデータの操作がベースのため、Web開発でよく使われるJavaScriptなどでも十分に通用する知識です。

Webサイトの利用規約に注意して、有効活用していただければ幸いです。

本格的にWeb開発を学ぶなら

VBAだけでなく、HTML自体だったり、CSS、JavaScriptといったWeb開発系言語を独学するならUdemyがオススメです！

ある程度プログラミングの知識がある人は、他の言語の学習も応用が効くのでビデオ学習の効率はめちゃくちゃ良いと思います。

タナイ

私も、新しい技術にキャッチアップしたいときはビデオ講座を購入して倍速再生で高速学習しています。

ウェブ開発入門完全攻略コース – プログラミング をはじめて学び創れる人へ！未経験から現場で使える開発スキルを習得！

【VBA】Webスクレイピング-04：[開発]データを取得する

...

thanaism.com

2020.05.18

今回の記事では、HTMLからデータを取得する方法をいくつか紹介していきます。

要素を取得するメソッド

「要素」とは「対になるHTMLタグで囲まれた範囲」という風に理解してください。
「要素」を取得する方法には、以下のものがあります。

タナイ

getElementByIdだけElementsではなくElementである点に注意しましょう。

これは、後述しますがHTMLの構文規則上、idは一意の値としなくてはならず複数形にならないためです。

それぞれのメソッドで要素を取得し、表示してみましょう。

Wikipediaの「VBA」というページにアクセスしてみます。
https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications

また、今回はVBAの「イミディエイト」というウィンドウに取得結果を表示します。
VBAの[表示]-「イミディエイトウィンドウ」を選択し、ウィンドウを開いておいてください。

サンプルコード

前述の４つの方法で、データを取得しています。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    Debug.Print ("＝＝＝＝＝Idから取得＝＝＝＝＝")
    
    '「firstHeading」というIdを持つ要素を取得
    Dim elmById As Object
    Set elmById = ie.Document.getElementById("firstHeading")
    '1件しか取得されないのでそのまま表示
    Debug.Print (elmById.outerHTML)
      
    
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝タグ名から取得＝＝＝＝＝")
        
    
    '「h2」タグを取得
    Dim elmByTagName As Object
    Set elmByTagName = ie.Document.getElementsByTagName("h2")
    Dim i As Long
    '複数件取得されるのでループして出力
    For i = 0 To elmByTagName.Length - 1
        Debug.Print (elmByTagName(i).outerHTML)
    Next i
      
    
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝nameから取得＝＝＝＝＝")
    
    '「search」というnameを持つ要素を取得
    Dim elmByName As Object
    Set elmByName = ie.Document.getElementsByName("search")
    '複数件取得されるのでループして出力
    For i = 0 To elmByName.Length - 1
        Debug.Print (elmByName(i).outerHTML)
    Next i
      
      
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝classから取得＝＝＝＝＝")
      
      
    '「toclevel-1」というclassを持つ要素を取得
    Dim elmByClassName As Object
    Set elmByClassName = ie.Document.getElementsByClassName("toclevel-1")
    '複数件取得されるのでループして出力
    For i = 0 To elmByClassName.Length - 1
        Debug.Print (elmByClassName(i).outerHTML)
    Next i
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

イミディエイトウィンドウに、以下のように出力されていれば、取得成功です。

＝＝＝＝＝Idから取得＝＝＝＝＝
<h1 class="firstHeading" id="firstHeading" lang="ja">Visual Basic for Applications</h1>


＝＝＝＝＝タグ名から取得＝＝＝＝＝
<h2 id="mw-toc-heading">目次</h2>
<h2><span id=".E6.A6.82.E8.A6.81"></span><span class="mw-headline" id="概要">概要</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 概要" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=1">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E6.A9.9F.E8.83.BD.E3.83.BB.E7.94.A8.E9.80.94"></span><span class="mw-headline" id="機能・用途">機能・用途</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 機能・用途" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=2">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id="VBA.E3.81.AE.E6.AD.B4.E5.8F.B2"></span><span class="mw-headline" id="VBAの歴史">VBAの歴史</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: VBAの歴史" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=3">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E8.BF.91.E5.B9.B4.E3.81.AE.E5.8B.95.E5.90.91"></span><span class="mw-headline" id="近年の動向">近年の動向</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 近年の動向" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=4">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E8.B3.87.E6.A0.BC.E6.A4.9C.E5.AE.9A.E8.A9.A6.E9.A8.93"></span><span class="mw-headline" id="資格検定試験">資格検定試験</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 資格検定試験" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=5">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E3.82.B3.E3.83.BC.E3.83.89.E4.BE.8B"></span><span class="mw-headline" id="コード例">コード例</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: コード例" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=6">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id="VBA.E3.81.AE.E3.82.BB.E3.82.AD.E3.83.A5.E3.83.AA.E3.83.86.E3.82.A3.E5.95.8F.E9.A1.8C"></span><span class="mw-headline" id="VBAのセキュリティ問題">VBAのセキュリティ問題</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: VBAのセキュリティ問題" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=8">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E9.96.A2.E9.80.A3.E9.A0.85.E7.9B.AE"></span><span class="mw-headline" id="関連項目">関連項目</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 関連項目" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=9">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E8.84.9A.E6.B3.A8"></span><span class="mw-headline" id="脚注">脚注</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 脚注" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=10">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2><span id=".E5.A4.96.E9.83.A8.E3.83.AA.E3.83.B3.E3.82.AF"></span><span class="mw-headline" id="外部リンク">外部リンク</span><span class="mw-editsection"><span class="mw-editsection-bracket">[</span><a title="節を編集: 外部リンク" href="/w/index.php?title=Visual_Basic_for_Applications&amp;action=edit&amp;section=11">編集</a><span class="mw-editsection-bracket">]</span></span></h2>
<h2>案内メニュー</h2>


＝＝＝＝＝nameから取得＝＝＝＝＝
<input name="search" title="Wikipedia内を検索する [alt-f]" id="searchInput" accesskey="f" type="search" placeholder="Wikipedia内を検索">


＝＝＝＝＝classから取得＝＝＝＝＝
<li class="toclevel-1 tocsection-1"><a href="#概要"><span class="tocnumber">1</span> <span class="toctext">概要</span></a></li>
<li class="toclevel-1 tocsection-2"><a href="#機能・用途"><span class="tocnumber">2</span> <span class="toctext">機能・用途</span></a></li>
<li class="toclevel-1 tocsection-3"><a href="#VBAの歴史"><span class="tocnumber">3</span> <span class="toctext">VBAの歴史</span></a></li>
<li class="toclevel-1 tocsection-4"><a href="#近年の動向"><span class="tocnumber">4</span> <span class="toctext">近年の動向</span></a></li>
<li class="toclevel-1 tocsection-5"><a href="#資格検定試験"><span class="tocnumber">5</span> <span class="toctext">資格検定試験</span></a></li>
<li class="toclevel-1 tocsection-6"><a href="#コード例"><span class="tocnumber">6</span> <span class="toctext">コード例</span></a>
<ul>
<li class="toclevel-2 tocsection-7"><a href="#ユーザー定義関数"><span class="tocnumber">6.1</span> <span class="toctext">ユーザー定義関数</span></a></li>
</ul>
</li>
<li class="toclevel-1 tocsection-8"><a href="#VBAのセキュリティ問題"><span class="tocnumber">7</span> <span class="toctext">VBAのセキュリティ問題</span></a></li>
<li class="toclevel-1 tocsection-9"><a href="#関連項目"><span class="tocnumber">8</span> <span class="toctext">関連項目</span></a></li>
<li class="toclevel-1 tocsection-10"><a href="#脚注"><span class="tocnumber">9</span> <span class="toctext">脚注</span></a></li>
<li class="toclevel-1 tocsection-11"><a href="#外部リンク"><span class="tocnumber">10</span> <span class="toctext">外部リンク</span></a></li>

メソッド名と、取得できるデータの数について

• getElementById
• getElementsByName
• getElementsByTagName
• getElementsByClassName

単数形「Element」と、複数形「Elements」のものがありますね。
これはHTMLの構文規則に関係があります。

「Id」の値は、1つのHTMLの中で一意という決まりがあります。そのため、Idは単数形「Element」。それ以外はHTML内に同じ値のものが複数出現しても良いので、複数形の「Elements」が使用されています。

また、getElements…は複数件のデータが取得できるので、取得した要素は配列に格納されます。

次回の内容

今回は要素を取得するメソッド「getElement（Elements）…」について説明しました。

次回は取得した要素からテキストを抜きだす方法について説明します。

【VBA】Webスクレイピング-03：[設計]データの取得方法を検討する

...

thanaism.com

2020.05.18

Webスクレイピングによるデータの取得、今回はいよいよ開発に入ります。

前回のおさらい

前回は1番～3番の「設計」工程について説明しました。
今回は4番の「開発」工程を進めていきます。

ソースコード

実際に動作するソースコードは以下の通りです。

Option Explicit

Function getPrice(url As String)
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate (url)
    
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    '価格を取得する
    Dim price As String
    price = ie.Document.getElementById("priceblock_ourprice").innerText
    
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
    getPrice = price

End Function

この中で、データを取得しているのは以下の１行です。

price = ie.Document.getElementById("priceblock_ourprice").innerText

この1行が何をしているのかを説明していきましょう。

1. ie
   Webページを取得するためのアプリケーション（IE）です。

2. Document
   IEで取得したWebページです。

3. getElementById(“priceblock_ourprice”)
   Webページから、「id=”priceblock_ourprice”を持つ要素（Element）」を取得しています。

4. innerText
   取得した要素（Element）の「内部テキスト（innerText）」を取得しています。

「IE⇒Webページ⇒要素⇒内部テキスト」と、徐々に絞り込まれていくイメージです。

他のWebサイトもスクレイピングできる

Webスクレイピングの基本的な流れは以上となります。
「データの取得方法」を変えることで様々なデータを取得できるようになります。

次回は「データの取得方法」について、他にどのような方法があるのかを説明していきます。

【VBA】Webスクレイピング-02：※重要※はじめる前に知っておきたいこと

...

thanaism.com

2020.05.08

今回は、WEBページ内の任意の要素を抜き出すにあたってどのような設計をしていけばよいかを検討していきます。

具体的には、データの取得について以下の流れで進めていきます。

１．[設計]取得したいデータを決める

まずは「何を取得するか？」を決めます。

「価格」と「商品名」など複数のデータを取得したい場合でも、まずは１つのデータを確実に取得してから、データを追加していきましょう。

タナイ

今回は「価格」を取得します。

２．[設計]取得したいデータがHTMLのどこにあるか確認する

「価格」が、HTMLのどこにあるかを確認します。
Chromeの場合、F12キーで「開発者ツール」を起動し、価格が表示されているHTMLを簡単に確認することができます。

以下のHTMLに価格が入っていました。

<span id="priceblock_ourprice" class="a-size-medium a-color-price priceBlockBuyingPriceString">￥5,673</span>

３．[設計]取得したいデータを、どのように取るか検討する

次に、この価格をどのように取得すれば良いかを検討します。

<span id="priceblock_ourprice" class="a-size-medium a-color-price priceBlockBuyingPriceString">￥5,673</span>

タナイ

HTMLにはid、class、tagnameといったブロックごとの属性があります。それらをもとに、目的のデータを誤りなく抽出するのに最適な識別子を判別していきます。

検討のヒントは以下の通りです。

• <span>タグで囲まれている。
• <span>タグの「id」が「priceblock_ourprice」である。
• <span>タグの「class」が「a-size-medium a-color-price priceBlockBuyingPriceString」である。

このヒントから、重複なくデータを一意に取得するには「id」を使うのが良さそうです。

【次回】[開発]プログラムを作成し、データを取得する

次回は「設計」工程で検討した内容を、実際にプログラムにする「開発」工程について説明します。

タナイ

今回は、作成にあたり絶対に守ってほしい注意点も紹介します。

【VBA】Webスクレイピング-01：タイトルの取得

...

thanaism.com

2020.05.04

※重要※Webスクレイピングにあたっての注意

Webスクレイピング：サンプルの利用目的

Webスクレイピング：サンプルコード

Option Explicit

Function getPrice(url As String)
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate (url)
    
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    '価格を取得する
    Dim price As String
    price = ie.Document.getElementById("priceblock_ourprice").innerText
    
        
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
    getPrice = price

End Function

Webスクレイピング：サンプルの実行結果

AmazonでKindle Paperwhiteの価格を取得してみました。
※現在のサンプルプログラムは、商品の種類によってはエラーになる場合があります。
以下のページで価格を取得できることを確認しています。

Kindle Paperwhite 防水機能搭載 wifi 8GB ブラック 広告つき 電子書籍リーダー

Amazon

Amazonの商品レビュー・口コミを見る

Amazon

楽天

実行結果

Webスクレイピング：次回の記事

次回の記事では、プログラムの作り方について説明していきます。

WebスクレイピングというとPythonなどのライブラリが豊富な言語もありますが、サラリーマンが会社で使いたいというシーンにおいては実行環境が整えられないという課題もあります。

そうしたなか、Excelは多くの企業でインストールされているアプリケーションのため、環境の用意がほぼ不要であるという点で有利です。しかも、VBAは工夫次第で様々なWebページ操作が実現できます。

タナイ

今回は、「VBAで実践するWeb操作」入門編の第1弾です。

VBAで実践するWeb操作：環境構築とタイトルの取得

VBAでWebスクレイピングするための事前設定

VBAによるWebスクレイピングを行うプログラムでは、『ライブラリ』を使用する必要があります。
VBAエディタの[ツール]-「参照設定」を開き、以下の２つのライブラリにチェックを付けてください。

まず動かしてみよう

チェックを付けたら、標準モジュールを挿入し、以下のコードを書いてください（指定したURLからタイトルを取得するユーザー定義関数を作成しています）。

Option Explicit

Function getTitle(url As String)

'■１．前処理
'IEのオブジェクトを作成
Dim ie As InternetExplorer
Set ie = New InternetExplorer

'IEが開かないように設定
ie.Visible = False


'■２．本処理
'指定のURLを開く
ie.Navigate (url)

'ページの読み込みが完了するまで待つ
Do While ie.readyState <> READYSTATE_COMPLETE
    'OSに制御を戻す
    DoEvents
Loop

'<title>タグの内容を取得する
Dim title As String
title = ie.Document.getElementsByTagName("title")(0).innerText


'■３．後処理
ie.Quit
Set ie = Nothing

getTitle = title

End Function

以降は、「getTitle（取得したいWebページのURL）」という関数名で呼び出せるようになります。

コードの解説

大きく分けて、以下の３ステップで処理を行います。

この中の「前処理」「後処理」は、Webページの操作を行うVBAであれば毎回ほぼ同じ内容になりますので、覚えてしまうと良いでしょう。
では、各ステップを見ていきましょう。

１．前処理

Webページにアクセスするための「IE」のオブジェクトを作成しています。

ie.Visible = False

上記を設定した場合、IEは画面には表示されず、バックグラウンドで動く状態になります。

タナイ

Trueにすると、この関数を呼び出すたびにIEが開くので画面が見づらくなります。

２．本処理

Webページを開き、「title」タグの中身を取得します。
ここでポイントになるのは、真ん中にある「ページの読み込みが完了するまで待つ」ところです。

「readyState」というプロパティが「READYSTATE_COMPLETE」になるまで、IEは「ページの読み込み中」の状態です。
「ページの読み込み中」の状態では、titleタグが読み込まれておらず、取得できない可能性がありますので、読み込み完了を待ってからtitleタグを取得しています。

３．後処理

前処理で開いたIEを閉じます。
この処理を行わないと、バックグラウンドでたくさんのIEが起動したままになり、パソコンの動作が不安定になってしまいますので、忘れないように注意しましょう。

タナイ

IEに限らず、外部オブジェクトはちゃんと終了処理をすることが重要です

Webページ操作の応用例

今回のサンプルを応用すると、他にもこんなことができるようになります。

今後も解説記事を投稿していきますが、腕前に自信のある方はぜひ今回の記事をもとに自力で挑戦してみてください！

VBA独学にオススメの書籍

在宅勤務で通勤時間が浮いたならVBAの学習に充ててスキルアップを目指しませんか。

入門レベルでは決して足りない実務に必須のスキルとは ExcelVBA 実戦のための技術

ソシム

￥2,640（2022/02/16 18:01時点）

Amazonの商品レビュー・口コミを見る

Amazon

楽天