DPC公開データのクレンジング（汎用性のある横持ち表を縦持ちデータに変換するツールとしてのつもり^^;）

枯木春開

このブログの人気の投稿

iPhoneのカレンダーに見知らぬアカウントによるフィティングリンクの恐れ

Excel Power Query 英数字の全角から半角への変換

閉域網の電子カルテにJitsiを稼働させてみた！（続き）

このブログを検索

厚労省が公開したデータがいけていない（さらに複雑な分析ができない）からDPC公開データのクレンジングのためにExcel のVBAプログラミングで簡単なツールを作りました。

https://www.mhlw.go.jp/stf/shingi2/0000196043_00003.html

Excelファイルを下記からダウンロードできます。

Excel xlsm

公開するか未定ですが、自動的に厚労省のURLからダウンロードして、表側と表頭を自動的に判別してCSVに吐き出すか、データベースに入れる拡張をする予定です。

【20210309追記】

MDC04の表の場合、件数・在院日数の下位項目数は均等ではない（４列か３列か）以前公開のExcelでは処理できないことが判明しました。修正バージョンは下記にアップロードしました。昨年１０月に直したのに、アップロードするのはずっと忘れていました。

修正版

昨日突然妻から、iPhoneのカレンダーに怪しい予定はいっぱい書き込まれました。最初はメールアドレスの盗用されたと思って、メールアカウントのパスワードと、そのメールアドレスのApple IDのパスワードを急遽変更しました。しかし、書き込みが消えず、よくカレンダーの設定のアカウントを調べると下記の画像のような気持ち悪いアカウントがいつの間にか設定されてしまいました。おそらく料理紹介のホームページにある怪しい広告をクリックしたかもしれません。くれぐれもご注意ください。幸い、このアカウントを削除すれば、書き込みも消えました。なにが違和感を感じたときは、絶対にリンク等をクリックしないほうが身のためでしょう。さらにnslookupで ylevelsoft.funを調べてみるとIPは13.226.77.* セグメント内の4つのようです。 $ nslookup ylevelsoft.fun Server: 192.168.11.1 Address: 192.168.11.1#53 Non-authoritative answer: Name: ylevelsoft.fun Address: 13.226.77.19 Name: ylevelsoft.fun Address: 13.226.77.33 Name: ylevelsoft.fun Address: 13.226.77.8 Name: ylevelsoft.fun Address: 13.226.77.15 これらのIPアドレスを調べると、東京にあるIPアドレスがわかって、Amazonにホスティングしてるようです。 13.226.77.19 IP Address Details - IPinfo.io カレンダーのアカウントに登録したサーばをnslookupを調べると13.33.9.*セグメントの４つが使われて、Amazonにホスティングしてるようです。このホスト名は、server-13-33-9-105.nrt57.r.cloudfront.net 上記のIPのホスト名server-13-...

最近仕事上でExcelのPower Queryを始めました。しかし、英数字の全角から半角への変換関数がないため、下記のサイトを参考して、作っちゃいました。 https://qiita.com/baku2san/items/8041d0259fe0db680e7e https://www.yoheim.net/blog.php?q=20191101 (original as text) as text => let originalText = Text.Combine({original, ""}), replaceResult = Web.Page("<script>var originalText="&"'"&originalText&"'"&";var result=originalText.replace(/[Ａ-Ｚａ-ｚ０-９]/g, function(s) {return String.fromCharCode(s.charCodeAt(0) - 0xFEE0);});document.write(result);</script>") [Data]{0}[Children]{0}[Children], result = if (List.Count(replaceResult) <= 1) then { "" as text // 変換して何も残らない場合 } else if (replaceResult{1}[Text]{0} = null) then { originalText as text// 何も見つからない場合 } else { replaceResult{1}[Text]{0} as text } in ...

前回は、閉域網の電子カルテにJitsiを稼働してみた！を紹介しました。サーバは古いMacminiですが、今回はインターネット環境のWindows 10のHyper-VでDebian 10を入れて、仮想サーバを電子カルテネットワーク内の、Windows server 2019とWindows server 2008のHyper-Vに移植する試みを紹介します。 Hyper-Vにすることで、新しい研究用仮想基盤や古いサーバ（旧国立大バックアップシステム等）の仮想基盤化で必要数に応じて簡単にJitsiサーバを増やすことが可能という利点があります。それから、故障した場合も簡単に他のHyper-V仮想基盤にすぐ再稼働することが可能なので耐障害になります。今回利用したDebianのインストーラは、 debian-10.7.0-amd64-netinst.iso です。基本のDebianのインストールはインストーラの指示通りでできますので、こちらで割愛します。必要なサービスは、VNCやSSHあたりです。GUIが利用したい場合、お好みのデスクトップで構いません。 Jitsi Meetのインストールは、こちらのサイト（英文）を参考していますが、こちらの環境では、下記のコマンドでやってみました。ドメイン名を使わず、IPアドレスのみでの設定なので、Hyper-Vのチェックポインの機能でIP変更のたびにJitsiをインストールします。 $ wget https://download.jitsi.org/jitsi-key.gpg.key $ sudo apt-key add jitsi-key.gpg.key $ sudo nano /etc/apt/sources.list.d/jitsi-stable.list #下記の一行を追記 deb https://download.jitsi.org stable/ $ sudo apt update $ sudo apt -d install jitsi-meet #電子カルテから簡単にインターネットからダウンロードできない環境を考えるととりあえず-dでダウンロードオンリーにします #ここでHyper-Vのチェックポインにします。 $ sudo apt install jitsi-meet イン...

１．データの範囲を検知（行数、列数）

２．表頭を値として取得

３．値が２種類（件数、在院日数。8/4=2）があるから同時に２列を書き出す

４．次の表頭グループからデータを抽出