2018.07.09
Tableau

Tableauによるhtmlスクレイピング

WDCを用いたhtmlスクレイピングの実現手段はいくつか考えられますが、ここでは、その中でも環境整備が比較的容易と考えられるWDC-SDK上での、htmlスクレイピングの例を取り上げたいと思います。

WDC-SDKは、Tableau-GitHub上で公開されており、SDKには検証用Webサーバが含まれています。また、検証用Webサーバには、プロキシ機能が備わっています。

見出し

1 データ
- 1.1 サンプル・データ
2 データ取得
- 2.1 サンプル・コード
- 2.2 プロキシ概念図
3 見える化
4 参考資料

データ

サンプル・データ

今回はサンプル・データとして、「国の公債残高と公債依存度の推移」(図表1参照)を用いました。

図表1：国の公債残高と公債依存度の推移

出所：「国の公債残高と公債依存度の推移」(なるほど統計学園：総務省統計局)

データ取得

サンプル・コード

本サンプルでのデータ取得は、ローカルPCに立ち上げたプロキシ経由となります。

具体的には、

http://localhost:8889/<URL>

といったURI指定になります。

データ要求箇所

        var xhr = $.ajax({
            beforeSend: function(xhr){
                xhr.overrideMimeType('text/html; charset=shift_jis');
            },
            type: 'GET',
            url: 'http://localhost:8889/www.stat.go.jp/naruhodo/c1data/***.html',
            dataType: 'html',
            scriptCharset: 'utf-8',
            async: false
        }).done(function(resp, textStatus) {
            var tableRowObj = $(resp).find('tbody tr');
            var eraHeiseiFlg = false;
            for(i = 0; i < tableRowObj.length; i++){
                var order = i + 1;
                var year = $(tableRowObj[i]).find('td.txtc').text();
                var balance = $(tableRowObj[i]).find('td.txtr:eq(0)').text().replace(",", "");
                var dependency = $(tableRowObj[i]).find('td.txtr:eq(1)').text();

                if(year.substr(0, 2) == "平成"){eraHeiseiFlg = true;}
                if(dependency.substr(0, 2) == "注)"){dependency = dependency.replace("注)", "");}

                if(eraHeiseiFlg){ 
                    if(!(year.substr(0, 2) == "平成")){year = "平成" + year;}
                }else{
                    if(!(year.substr(0, 2) == "昭和")){year = "昭和" + year;}
                }

                tableData.push({
                    "Order": order,
                    "Year": year,
                    "Balance": balance,
                    "Dependency": dependency
                });
            }
        }).fail(function() {
            tableau.abortWithError('An error has occured while trying to connect to html site.');
        });