タナイ | thanaism.com

【お知らせ】新しいブログを開設しました

タナイ — Wed, 16 Sep 2020 06:40:44 +0000

本サイトはWordPressで運営されています。

現在、WordPressをとりまく環境は非常に整っており、ITエンジニアでなくても簡単にブログを作成することができます。いっぽうで、WordPressを使わないブログもあります。

そうです。WordPress以外でもブログを作成してみたくなりました。

新設したブログは、ReactをベースにしたGatsbyという静的サイトジェネレータを用いて作成されています。WordPressとは異なり、記事はすべて事前にビルドされ静的に保存されているため、軽量・高速に表示されることが特徴です。

私はもともと独学でプログラミングをしていて、2020年4月とか5月あたりにクラウドソーシングで副業をはじめました。当時はVBAの案件だけでした。

最初はそれで得意になっていましたが、やっているうちにVBAは広いITの世界のごくごく一部だということに気付きました。しだいにWeb開発へも興味を持ち始め、Linuxシェルの使い方やGitでのソースコード管理にはじまり、PythonやJavaScriptなど、基本から網羅的に学ぶようになりました。

本当に楽しくて仕方がなかったのを覚えています。とにかく、新しいことをどんどん吸収していきたいと心の底から思えるのです。

学習を始めたころの私は、ITとは縁もゆかりもない製造業に勤めていました。それなりの大手企業ではありましたが、毎日が嫌で嫌で仕方がなかったことは明確に覚えています。大手企業のサラリーマンに求められる所作と自分の志向が悲しいほどマッチしていないという自覚がありました。

大切な人生を自分に向いてないことで埋め尽くすのはただただ勿体ない。無益です。

その点、ITにはかなりの適性を感じました。誰に頼まれるでもなく勝手に自分から学びたいと思えるし、どんどん新しいことがわかるようになっていく満足感は久しぶりの感覚でした。人生の充実度が何百倍も違うように感じました。

そうして様々なことを学び始めてから数ヶ月たち、新しく学んだReactやTypeScriptを多少なりとも実際になにか使ってみたくなったのが今回のブログ新設のキッカケです。

実はこの文章、2020年の開設を振り返って、2022年に書いています。
早いもので、もうすぐ開設から2年になりそうです。先月には次女も生まれ、私の人生はいろいろと変化しました。

今ではITエンジニアに転職し、充実した毎日を送っています。

Thanaism

Super Ultra Great Delicious Giant-swing Mountain-storm

Macでサイドボタンに進む・戻るを設定する

タナイ — Mon, 29 Jun 2020 09:33:22 +0000

私のようにWindowsからMacへ移行したユーザーの場合、多くの人はWindowsで使っていた5ボタンマウスをそのまま使うケースが多いのではないでしょうか？

そこで問題になるのが、システム設定にサイドボタンの割り当て項目がないこと。

サイドボタンの設定項目がない

今回は、Macでサイドボタンへ進む・戻るを割り当てする方法を紹介しておきます。

Contents

Karabiner-Elementsをダウンロードする
インターネットからマウス用の設定をImportする
- マウスボタンの番号について
- 設定ファイルのリンクにうまく飛べない場合
Macでマウスのサイドボタン設定まとめ

Karabiner-Elementsをダウンロードする

まずは下記のサイトからKarabiner-Elementsというソフトをダウンロードしましょう。

Karabiner-Elements

A powerful and stable keyboard customizer for macOS.

homebrewならターミナルで、以下を叩きましょう。

% brew cask install karabiner-elements

タナイ

Karabinerはキーバインド変更ソフトです

インターネットからマウス用の設定をImportする

Karabinerがインストールできたら、下記のリンクをクリックしてインターネットからサイドボタン用の設定ファイルをインポートします。

Karabiner-Elements complex_modifications rules

Karabiner-Elements complex_modifications predefined rules by community

リンクを開くと下記の項目にジャンプするはずです。

リンクが使えなかった方は「設定ファイルのリンクにうまく飛べない場合」を参照ください。

“Change mouse buttons”の右上の“Import”をクリック

ダイアログが出るので「許可」をクリック

“Import”をクリック

好きな項目の“Enable”をクリック

いくつか項目がありますが、お好みに応じてEnable（有効化）してください。

設定内容は書いてある通りですが、英語が読めない方のために書いておきます。

Change button4,5 to back,forward	ボタン4：戻る、ボタン5：進む
Change button4,5 to forward, back	ボタン4：進む、ボタン5：戻る
Change left button + right button to middle button if these are pressed simultaneously	左右同時クリックでミドルクリック

マウスボタンの番号について

これも、わかりにくいので書いておきます。

左クリック	ボタン1
右クリック	ボタン2
ホイールボタン	ボタン3
サイド指先側	ボタン4
サイド指元側	ボタン5

マウスのボタン番号などで検索すると下記のような番号付けの画像が出てきたりして混乱しますが、あくまでMacの認識としては上記になります。

画像引用元：https://www2.elecom.co.jp/peripheral/mouse/5bottuns/index.asp

タナイ

たとえばミドルクリックにMisson Controlをバインドしたいなどのケースでは、マウスボタン3を選択します。

管理人は⌘を押しながらのミドルクリックでMisson Controlが開くように設定しています

設定ファイルのリンクにうまく飛べない場合

上記のリンクが使えない場合は、以下の方法で同じ場所にたどり着くことができます。Complex Modificationの項目にいきます。

左下の“Add rule”をクリック

上の“Import more rules from the Internet”をクリック（ブラウザが開きます）

開いたブラウザページの上側にある“Search keywords…”に入力

Macでマウスのサイドボタン設定まとめ

Macのサイドボタン設定には、Karabiner-Elementsでインターネットから設定ファイルをインポートして利用します。

タナイ

この記事では紹介しませんが、インポートした設定ファイルは自作することもできます。自分でJSONを書けばもっと自在に高度な設定が可能です。

【VBA】楽天ランキングページをWebスクレイピング④

タナイ — Tue, 16 Jun 2020 20:00:00 +0000

VBAで楽天ランキングページをWebスクレイピングする方法について、最後に補足説明を行います。

前回記事はこちら

【VBA】楽天ランキングページをWebスクレイピング③

...

Contents

コードのおさらい
４位以下を取得したい場合
楽天へのアクセス回数が多くならないか？
- サーバーへのアクセス回数
- サーバーへのアクセスタイミング

コードのおさらい

前回まで使用していたコードは以下のようなものでした。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")
    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

４位以下を取得したい場合

今回は、1位～3位を取得する前提であったため、「rnkRanking_top3box」というクラス名で要素を取得しました。

    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")

4位以下を取得したい場合は、4位以下の商品が含まれる要素を指定すれば良いです。Google開発者ツールで確認してみてください。

楽天へのアクセス回数が多くならないか？

ランキングページには、1位～80位までの80件の商品が掲載されています。
前述の方法（4位以下を取得する）を使うことで、一度に80件の商品情報をWebスクレイピングによって取得することが可能です。

そんな中で、「1回に80アクセスもしたら楽天からペナルティを受けるのではないか？」と懸念される方、いるのではないでしょうか？

結論から言うと、問題はありません。
その理由について説明します。

サーバーへのアクセス回数

このような懸念をされる方は、「サーバーに80回アクセスする」と考えているのだと思いますが、実際は、「サーバーへのアクセス回数は１回」です。

サーバーへのアクセスタイミング

では、サーバーへのアクセスがどのタイミングで行われるのか、ソースコードで確認してみましょう。

「サーバーに80回アクセスする」と考えている方は、以下のところでサーバーにアクセスしているという認識なのだと思います。

    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product

実際は以下のところになりますので、サーバーへのアクセスは1回のみです。
上の処理は、「サーバーから取得済のデータ」を使って商品名や価格などを取得しているので、サーバーへのアクセスは行われません。

    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")

タナイ

何度もアクセスするような無駄なプログラムにせず、1度のアクセスでより多くの情報を取れないか検討することが望ましいです。

【VBA】楽天ランキングページをWebスクレイピング③

タナイ — Mon, 15 Jun 2020 20:00:00 +0000

前回は、手順１、手順２について説明し、楽天ランキングページから、商品を１件ずつ取得することができました。

今回は、取得した商品の「値」の取得方法を説明します。

楽天ランキングページ（https://ranking.rakuten.co.jp/weekly/）にアクセスし、「ページ全体」を取得する。
「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。
「商品」から、「値」（商品名、価格、URL）を取得する。
「値」を書きだす。
2～4を商品の数だけ繰り返す。

前回記事はこちら

【VBA】楽天ランキングページをWebスクレイピング②

...

Contents

商品のHTMLソースを取得する
HTMLの中身を確認する
- 要素の取得
- 値の取得
次回の予定

商品のHTMLソースを取得する

商品１件のHTMLソースをコピーして、中身を見てみましょう。
以下の手順で実行します。

「Google開発者ツール」を起動。
「Elements」ペイン対象の要素を右クリックし、「CopyElement」を選択。
要素の内容がコピーされるので、テキストエディタ等に貼り付け。

HTMLの中身を確認する

取得したHTMLの中身を確認してみましょう。

要素の取得

「要素」の取得方法について検討します。

商品名とURLは「rnkRanking_itemName」、価格は「rnkRanking_price」のクラス名を持つタグに含まれていましたので、「getElementsByClassName」で取得できそうです。

値の取得

要素に含まれる「値」の取得方法を検討します。

まず、商品名と価格は前回使用した「innerText」プロパティで取得できそうです。

「URL」について、取得したい値はこれまでに説明した「innerText」「outerHtml」等のプロパティではなく、＜a＞タグに含まれる「href＝”….”」の部分になります。取得方法が異なるので、注意が必要です。

name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
price = product.getElementsByClassName("rnkRanking_price")(0).innerText
url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href

次回の予定

VBAで楽天ランキングページをWebスクレイピングで取得するための説明は以上となります。

次回の記事ではまとめと補足説明を行います。

【VBA】楽天ランキングページをWebスクレイピング②

タナイ — Sun, 14 Jun 2020 20:00:00 +0000

今回から、具体的な手順の説明に入ります。

楽天ランキングページ（https://ranking.rakuten.co.jp/weekly/）にアクセスし、「ページ全体」を取得する。
「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。
「商品」から、「値」（商品名、価格、URL）を取得する。
「値」を書きだす。
2～4を商品の数だけ繰り返す。

前回記事はこちら

【VBA】楽天ランキングページをWebスクレイピング①

...

Contents

ページ全体を取得する
「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。
- 「Google開発者ツール」を使ったHTMLの確認手順
次回の予定

ページ全体を取得する

この部分は、URLにランキングページを指定したこと以外は、前回と同じなので説明を割愛します。

    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop

「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。

「商品」が取得したページのどの部分になるか、HTMLを見ながら検討してみましょう。
HTMLの確認には「Google開発者ツール」で確認します。

「Google開発者ツール」を使ったHTMLの確認手順

ブラウザ（Chrome）上で「F12」キーをクリックし、ツールを起動します。
図の「矢印ボタン」を選択します。
Webページの該当箇所を選択できるようになるので、商品を1件選択します。
「Elements」ペインに、Webページの選択した箇所に対応したHTMLが選択されます。

ランキングページの該当箇所を選択すると、「rnkRanking_top3box」というクラス名のタグが出てきます。
名前から見ても、このタグが商品1件に対応するタグのようです。

このクラス名をキーに、HTMLを取得してみます。
クラス名から取得するには「getElementsByClassName」を使用します。


    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")

ブレークポイントで「products」オブジェクトの内容を確認すると、「Item1」～「Item3」の3件が取得できていることが分かります。ランキング１位～３位の商品が取得できたようです。

次回の予定

次回は、取得した商品から「値」を抽出していきます。

【VBA】楽天ランキングページをWebスクレイピング①

タナイ — Sun, 14 Jun 2020 02:00:00 +0000

前回までに説明した内容をもとに、楽天のランキングページをWebスクレイピングしてみましょう。

前回記事はこちら

【VBA】Webスクレイピング-06：取得した要素からテキストを抜き出す

...

Contents

大まかな流れ
Webスクレイピングに必要な処理は毎回ほぼ同じ
サンプルソース
次回の予定

大まかな流れ

楽天ランキングページ（https://ranking.rakuten.co.jp/weekly/）にアクセスし、「ページ全体」を取得する。
「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。
「商品」から、「値」（商品名、価格、URL）を取得する。
「値」を書きだす。
2～4を商品の数だけ繰り返す。

Webスクレイピングに必要な処理は毎回ほぼ同じ

こうして見ると、大まかな流れは前回の記事とほとんど変わらないことが分かります。
一度全体の流れが理解できれば、処理が異なる一部だけを対象ページ、データに合わせてアレンジすれば応用が可能です。

１．「ページ全体」を取得する

この部分は、前回と同じ方法が使えそうです。

２．「ページ全体」から、ランキングに掲載されている「商品」を１件ずつ取得する。

「商品」が取得したページのどの部分になるか、HTMLを見ながら検討が必要になりそうです。

３．「商品」から、「値」（商品名、価格、URL）を取得する。

２と同様、HTMLを見ながら検討が必要になりそうです。

４．「値」を書きだす。

取得した値を書きだします。
今回は「商品名」「価格」「商品詳細ページのURL」を対象とします。

５．２～４を商品の数だけ繰り返す

ランキングページには複数の商品が掲載されているので、商品の数だけ繰り返します。
今回のサンプルでは１位～３位の商品を出力します。

サンプルソース

実際のソースと実行結果は以下のようになります。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ranking.rakuten.co.jp/weekly/")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim products As Object
    Dim product As Object
    Dim name As String
    Dim price As String
    Dim url As String
    Dim rank As Integer
    rank = 1
    
    Set products = ie.Document.getElementsByClassName("rnkRanking_top3box")
    For Each product In products
        
        name = product.getElementsByClassName("rnkRanking_itemName")(0).innerText
        price = product.getElementsByClassName("rnkRanking_price")(0).innerText
        url = product.getElementsByClassName("rnkRanking_itemName")(0).getElementsByTagName("a")(0).href
        Debug.Print "■第" & rank & "位"
        Debug.Print "商品名：" & name
        Debug.Print "価格：" & price
        Debug.Print "URL：" & url
        rank = rank + 1
    
    Next product
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

次回の予定

次回以降、手順に沿って具体的な説明に入ります。

【VBA】Webスクレイピング-06：取得した要素からテキストを抜き出す

タナイ — Mon, 18 May 2020 15:19:51 +0000

VBAでWEBスクレイピングの第6弾です。今回で基本的な内容についての解説はひと通り終わることになります。

前回記事はこちら

【VBA】Webスクレイピング-05：HTMLからデータを取り出す（Id／タグ名など）

...

それでは、前回の続きとして、idやclass等で抜き出したタグ含みの情報からどうやって欲しいテキストを抽出していくかについて解説していきましょう。

Contents

テキストが格納されているプロパティ
サンプルコード
各プロパティの取得内容比較
Webスクレイピングについて
- 本格的にWeb開発を学ぶなら

テキストが格納されているプロパティ

取得した「要素」に含まれている「プロパティ」にテキストが格納されています。
プロパティは、以下の４種類があります。

outerHTML
要素と、要素に含まれるHTML全体
outerText
要素と、要素に含まれるHTML全体の中で、画面にテキストとして表示される部分
innerHTML
要素に含まれるHTML全体（要素そのものは含まない）
innerText
要素に含まれるHTML全体の中で、画面にテキストとして表示される部分（要素そのものは含まない）

サンプルコード

それぞれのプロパティを表示してみましょう。
前回と同様に、WikiPediaの「VBA」というページにアクセスしてみます。
https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications

「id=”cite_note-13″」の要素を取得し、前述の４つのプロパティを表示します。。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    
    Dim elmById As Object
    Set elmById = ie.Document.getElementById("cite_note-13")
    Debug.Print ("＝＝＝＝＝outerHTML＝＝＝＝＝")
    Debug.Print (elmById.outerHTML)
    Debug.Print ("＝＝＝＝＝outerText＝＝＝＝＝")
    Debug.Print (elmById.outerText)
    Debug.Print ("＝＝＝＝＝innerHTML＝＝＝＝＝")
    Debug.Print (elmById.innerHTML)
    Debug.Print ("＝＝＝＝＝innerText＝＝＝＝＝")
    Debug.Print (elmById.innerText)
            
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

イミディエイトウィンドウに、以下のように出力されていれば、取得成功です。

＝＝＝＝＝outerHTML＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel

＝＝＝＝＝outerText＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel 
＝＝＝＝＝innerHTML＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel

＝＝＝＝＝innerText＝＝＝＝＝
^ Excel のマクロのセキュリティ設定を変更する - Excel

各プロパティの取得内容比較

outerHTMLを基準に、各プロパティの表示内容は以下のようになります。
・「outer」は要素自体を含み、「inner」は含まない
・「HTML」はHTMLそのものを表示し、「Text」は表示用のテキスト部のみを表示する。

Webスクレイピングについて

Webスクレイピングの基本的な内容は以上となります。

意外と簡単に取得できることがお分かりいただけたかと思います。

タナイ

今回解説した内容は、あくまでHTMLデータの操作がベースのため、Web開発でよく使われるJavaScriptなどでも十分に通用する知識です。

Webサイトの利用規約に注意して、有効活用していただければ幸いです。

本格的にWeb開発を学ぶなら

VBAだけでなく、HTML自体だったり、CSS、JavaScriptといったWeb開発系言語を独学するならUdemyがオススメです！

ある程度プログラミングの知識がある人は、他の言語の学習も応用が効くのでビデオ学習の効率はめちゃくちゃ良いと思います。

タナイ

私も、新しい技術にキャッチアップしたいときはビデオ講座を購入して倍速再生で高速学習しています。

Udemyの登録はこちら！

ウェブ開発入門完全攻略コース – プログラミングをはじめて学び創れる人へ！未経験から現場で使える開発スキルを習得！

Web開発が網羅的に解説されているので初期学習に超オススメです。私も受講しました。

【VBA】Webスクレイピング-05：HTMLからデータを取り出す（Id／タグ名など）

タナイ — Mon, 18 May 2020 14:53:38 +0000

VBAでWEBスクレイピングの第5弾です。

前回記事はこちら

【VBA】Webスクレイピング-04：[開発]データを取得する

...

今回の記事では、HTMLからデータを取得する方法をいくつか紹介していきます。

Contents

要素を取得するメソッド
サンプルコード
メソッド名と、取得できるデータの数について
次回の内容

要素を取得するメソッド

「要素」とは「対になるHTMLタグで囲まれた範囲」という風に理解してください。
「要素」を取得する方法には、以下のものがあります。

HTML要素を取得するメソッド

getElementById
HTML内の「id」をキーに要素を取得します。

getElementsByName
HTML内の「name」をキーに要素を取得します。

getElementsByTagName
HTML内の「タグ名」をキーに要素を取得します。

getElementsByClassName
HTML内の「class」をキーに要素を取得します。

タナイ

getElementByIdだけElementsではなくElementである点に注意しましょう。

これは、後述しますがHTMLの構文規則上、idは一意の値としなくてはならず複数形にならないためです。

それぞれのメソッドで要素を取得し、表示してみましょう。

Wikipediaの「VBA」というページにアクセスしてみます。
https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications

また、今回はVBAの「イミディエイト」というウィンドウに取得結果を表示します。
VBAの[表示]-「イミディエイトウィンドウ」を選択し、ウィンドウを開いておいてください。

サンプルコード

前述の４つの方法で、データを取得しています。

Option Explicit


Sub getElm()
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate ("https://ja.wikipedia.org/wiki/Visual_Basic_for_Applications")
        
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    Debug.Print ("＝＝＝＝＝Idから取得＝＝＝＝＝")
    
    '「firstHeading」というIdを持つ要素を取得
    Dim elmById As Object
    Set elmById = ie.Document.getElementById("firstHeading")
    '1件しか取得されないのでそのまま表示
    Debug.Print (elmById.outerHTML)
      
    
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝タグ名から取得＝＝＝＝＝")
        
    
    '「h2」タグを取得
    Dim elmByTagName As Object
    Set elmByTagName = ie.Document.getElementsByTagName("h2")
    Dim i As Long
    '複数件取得されるのでループして出力
    For i = 0 To elmByTagName.Length - 1
        Debug.Print (elmByTagName(i).outerHTML)
    Next i
      
    
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝nameから取得＝＝＝＝＝")
    
    '「search」というnameを持つ要素を取得
    Dim elmByName As Object
    Set elmByName = ie.Document.getElementsByName("search")
    '複数件取得されるのでループして出力
    For i = 0 To elmByName.Length - 1
        Debug.Print (elmByName(i).outerHTML)
    Next i
      
      
    Debug.Print ("")
    Debug.Print ("")
    Debug.Print ("＝＝＝＝＝classから取得＝＝＝＝＝")
      
      
    '「toclevel-1」というclassを持つ要素を取得
    Dim elmByClassName As Object
    Set elmByClassName = ie.Document.getElementsByClassName("toclevel-1")
    '複数件取得されるのでループして出力
    For i = 0 To elmByClassName.Length - 1
        Debug.Print (elmByClassName(i).outerHTML)
    Next i
      
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
End Sub

イミディエイトウィンドウに、以下のように出力されていれば、取得成功です。

＝＝＝＝＝Idから取得＝＝＝＝＝
Visual Basic for Applications


＝＝＝＝＝タグ名から取得＝＝＝＝＝
目次
概要[編集]
機能・用途[編集]
VBAの歴史[編集]
近年の動向[編集]
資格検定試験[編集]
コード例[編集]
VBAのセキュリティ問題[編集]
関連項目[編集]
脚注[編集]
外部リンク[編集]
案内メニュー


＝＝＝＝＝nameから取得＝＝＝＝＝



＝＝＝＝＝classから取得＝＝＝＝＝
1 概要
2 機能・用途
3 VBAの歴史
4 近年の動向
5 資格検定試験
6 コード例

6.1 ユーザー定義関数


7 VBAのセキュリティ問題
8 関連項目
9 脚注
10 外部リンク

メソッド名と、取得できるデータの数について

getElementById
getElementsByName
getElementsByTagName
getElementsByClassName

単数形「Element」と、複数形「Elements」のものがありますね。
これはHTMLの構文規則に関係があります。

「Id」の値は、1つのHTMLの中で一意という決まりがあります。そのため、Idは単数形「Element」。それ以外はHTML内に同じ値のものが複数出現しても良いので、複数形の「Elements」が使用されています。

また、getElements…は複数件のデータが取得できるので、取得した要素は配列に格納されます。

次回の内容

今回は要素を取得するメソッド「getElement（Elements）…」について説明しました。

次回は取得した要素からテキストを抜きだす方法について説明します。

【VBA】Webスクレイピング-04：[開発]データを取得する

タナイ — Mon, 18 May 2020 14:42:14 +0000

VBAでWEBスクレイピングの第4弾です。

前回記事はこちら

【VBA】Webスクレイピング-03：[設計]データの取得方法を検討する

...

Webスクレイピングによるデータの取得、今回はいよいよ開発に入ります。

Contents

前回のおさらい
ソースコード
他のWebサイトもスクレイピングできる

前回のおさらい

前回は1番～3番の「設計」工程について説明しました。
今回は4番の「開発」工程を進めていきます。

全体の流れ

[設計]取得したいデータを決める
⇒ 「価格」を取得する

[設計]取得したいデータが、HTMLのどこにあるか確認する
⇒ Chrome「開発者ツール」で確認

[設計]取得したいデータを、どのように取るか検討する
⇒ タグの「id=priceblock_ourprice」を使う

[開発]プログラムを作成し、データを取得する
⇒ 今回の記事で説明

ソースコード

実際に動作するソースコードは以下の通りです。

Option Explicit

Function getPrice(url As String)
    
    '■１．前処理
    'IEのオブジェクトを作成
    Dim ie As InternetExplorer
    Set ie = New InternetExplorer
    
    'IEが開かないように設定
    ie.Visible = False


    '■２．本処理
    '指定のURLを開く
    ie.Navigate (url)
    
    'ページの読み込みが完了するまで待つ
    Do While ie.readyState <> READYSTATE_COMPLETE
        'OSに制御を戻す
        DoEvents
    Loop
             
    '価格を取得する
    Dim price As String
    price = ie.Document.getElementById("priceblock_ourprice").innerText
    
      
    '■３．後処理
    ie.Quit
    Set ie = Nothing
            
    getPrice = price

End Function

この中で、データを取得しているのは以下の１行です。

price = ie.Document.getElementById("priceblock_ourprice").innerText

この1行が何をしているのかを説明していきましょう。

ie
Webページを取得するためのアプリケーション（IE）です。

Document
IEで取得したWebページです。

getElementById(“priceblock_ourprice”)
Webページから、「id=”priceblock_ourprice”を持つ要素（Element）」を取得しています。

innerText
取得した要素（Element）の「内部テキスト（innerText）」を取得しています。

「IE⇒Webページ⇒要素⇒内部テキスト」と、徐々に絞り込まれていくイメージです。

他のWebサイトもスクレイピングできる

Webスクレイピングの基本的な流れは以上となります。
「データの取得方法」を変えることで様々なデータを取得できるようになります。

次回は「データの取得方法」について、他にどのような方法があるのかを説明していきます。

【VBA】Webスクレイピング-03：[設計]データの取得方法を検討する

タナイ — Mon, 18 May 2020 14:36:25 +0000

VBAでWEBスクレイピングシリーズの第3弾です。

前回記事はこちら

【VBA】Webスクレイピング-02：※重要※はじめる前に知っておきたいこと

...

今回は、WEBページ内の任意の要素を抜き出すにあたってどのような設計をしていけばよいかを検討していきます。

具体的には、データの取得について以下の流れで進めていきます。

Webスクレイピング：全体的な流れ

[設計]取得したいデータを決める
[設計]取得したいデータが、HTMLのどこにあるか確認する
[設計]取得したいデータを、どのように取るか検討する
[開発]プログラムを作成し、データを取得する

１～３番目は「どのようなプログラムを作成するか」を検討する「設計」という工程です。
４番目は、実際にプログラムを作成する「開発」という工程です。

今回の記事では、１～３番目の「設計」工程について説明します。

「設計」工程がうまくいくと、「開発」工程もスムーズに進みますので、しっかりと検討していきましょう。

Contents

１．[設計]取得したいデータを決める
２．[設計]取得したいデータがHTMLのどこにあるか確認する
３．[設計]取得したいデータを、どのように取るか検討する
【次回】[開発]プログラムを作成し、データを取得する

１．[設計]取得したいデータを決める

まずは「何を取得するか？」を決めます。

「価格」と「商品名」など複数のデータを取得したい場合でも、まずは１つのデータを確実に取得してから、データを追加していきましょう。

タナイ

今回は「価格」を取得します。

２．[設計]取得したいデータがHTMLのどこにあるか確認する

「価格」が、HTMLのどこにあるかを確認します。
Chromeの場合、F12キーで「開発者ツール」を起動し、価格が表示されているHTMLを簡単に確認することができます。

以下のHTMLに価格が入っていました。

￥5,673

３．[設計]取得したいデータを、どのように取るか検討する

次に、この価格をどのように取得すれば良いかを検討します。

￥5,673

タナイ

HTMLにはid、class、tagnameといったブロックごとの属性があります。それらをもとに、目的のデータを誤りなく抽出するのに最適な識別子を判別していきます。

検討のヒントは以下の通りです。

タグで囲まれている。
タグの「id」が「priceblock_ourprice」である。
タグの「class」が「a-size-medium a-color-price priceBlockBuyingPriceString」である。

このヒントから、重複なくデータを一意に取得するには「id」を使うのが良さそうです。

【次回】[開発]プログラムを作成し、データを取得する

次回は「設計」工程で検討した内容を、実際にプログラムにする「開発」工程について説明します。