DPC公開データのクレンジング（汎用性のある横持ち表を縦持ちデータに変換するツールとしてのつもり^^;）

枯木春開

このブログの人気の投稿

さくらインターネットのレンタルサーバにMysqlの大きいdumpファイルのインポート

iPhoneのカレンダーに見知らぬアカウントによるフィティングリンクの恐れ

Redmine 4.1.1-5 Textile の外部リンクを新しいタブで開く

このブログを検索

厚労省が公開したデータがいけていない（さらに複雑な分析ができない）からDPC公開データのクレンジングのためにExcel のVBAプログラミングで簡単なツールを作りました。

https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

Excelファイルを下記からダウンロードできます。

Excel xlsm

公開するか未定ですが、自動的に厚労省のURLからダウンロードして、表側と表頭を自動的に判別してCSVに吐き出すか、データベースに入れる拡張をする予定です。

【20210309追記】

MDC04の表の場合、件数・在院日数の下位項目数は均等ではない（４列か３列か）以前公開のExcelでは処理できないことが判明しました。修正バージョンは下記にアップロードしました。昨年１０月に直したのに、アップロードするのはずっと忘れていました。

修正版

さくらインターネットのレンタルサーバはFreeBSDをつかっています。 LAMP の環境が揃っています。基本的にFTPアカウントが発行されて、Webベースでファイルの転送もデータベースの作成および管理（phpMyAdmin）ができます。しかし、phpMyAdminは、dumpファイルをインポートする場合、最大１６MBのファイルしかアプロードできません。明確的にSSHアカウントは提示されていないが、実際にSSHでの接続も可能だと確認しました。しかし、SSHで接続してもmysqlでリモートMysqlサーバへの接続はできなかったようです。そこで、dumpファイルの中身はSQL文なので、 A5m2 というSQLクライアントからインポートすることを試しました。もちろん、自宅のパソコンから直接Mysqlサーバを接続できるとは思いませんが、一応試してみました。案の定、当たり前に制限がかけられています。で、よく考えるとレンタルサーバからアクセスできるから、そのIPは許可されているだろうと思います。なので、SSHトンネルを Bitvise SSH Client で掘ろうと考えていました。 BitviseのSSH設定はそんなに難しくないので、割愛しますが、 C2Sのタブの設定は下記の通りです。 listen interface => 127.0.0.1 List Port => 3306 (ローカルにMysqlが稼働している場合、3326とかに設定してください） Destination Host => レンタルサーバが提供しているMysqlサーバ　mysql~.~.ac.jp Dest. Port => 3306 A5m2のデータベース設定は、Mysql直接接続で、IPを127.0.0.1にすれば、接続できるはずです。それから、Dumpファイルを読み込んで「先頭からすべて」実行をすれば、いまのところ500MB位のファイルでも実行できました。だが、１．２GBのファイルは読み込みの途中にエラーになったが、ファイルが大きい過ぎたか、それともUTF8コードの問題なのか調査中です。結果がわかった次第追記します。

昨日突然妻から、iPhoneのカレンダーに怪しい予定はいっぱい書き込まれました。最初はメールアドレスの盗用されたと思って、メールアカウントのパスワードと、そのメールアドレスのApple IDのパスワードを急遽変更しました。しかし、書き込みが消えず、よくカレンダーの設定のアカウントを調べると下記の画像のような気持ち悪いアカウントがいつの間にか設定されてしまいました。おそらく料理紹介のホームページにある怪しい広告をクリックしたかもしれません。くれぐれもご注意ください。幸い、このアカウントを削除すれば、書き込みも消えました。なにが違和感を感じたときは、絶対にリンク等をクリックしないほうが身のためでしょう。さらにnslookupで ylevelsoft.funを調べてみるとIPは13.226.77.* セグメント内の4つのようです。 $ nslookup ylevelsoft.fun Server: 192.168.11.1 Address: 192.168.11.1#53 Non-authoritative answer: Name: ylevelsoft.fun Address: 13.226.77.19 Name: ylevelsoft.fun Address: 13.226.77.33 Name: ylevelsoft.fun Address: 13.226.77.8 Name: ylevelsoft.fun Address: 13.226.77.15 これらのIPアドレスを調べると、東京にあるIPアドレスがわかって、Amazonにホスティングしてるようです。 13.226.77.19 IP Address Details - IPinfo.io カレンダーのアカウントに登録したサーばをnslookupを調べると13.33.9.*セグメントの４つが使われて、Amazonにホスティングしてるようです。このホスト名は、server-13-33-9-105.nrt57.r.cloudfront.net 上記のIPのホスト名server-13-...

\Bitnami\redmine-4.1.1-5\apps\redmine\htdocs\lib\redmine\wiki_formatting\textile にある、redcloth3.rb の８５０行目を下記のように target='_blank' を追加して、Redmineを再起動してください。 "#{pre}<a#{atts}#{external} target='_blank' >#{text}</a>#{post}"

１．データの範囲を検知（行数、列数）

２．表頭を値として取得

３．値が２種類（件数、在院日数。8/4=2）があるから同時に２列を書き出す

４．次の表頭グループからデータを抽出