スキップしてメイン コンテンツに移動

Spotfire からMongoDBのデータを分析する（DPC公開データをサンプルに）

MongoDBはスキーマを定義しなくても下記のように簡単にコマンド一行でCSVをインポートできます。

C:\Users\user\Desktop>mongoimport /db:dpc /collection:facilities /type:csv /file:facilities.csv /headerline

2020-09-01T14:49:28.410+0900    connected to: localhost

2020-09-01T14:49:29.428+0900    [#####...................] dpc.facilities       144KB/659KB (21.9%)

2020-09-01T14:49:30.485+0900    [#######################.] dpc.facilities       659KB/659KB (100.0%)

2020-09-01T14:49:30.486+0900    imported 4764 documents

MongoDBシェルで二つのコレクションをJOINさせるのもいいのですが、データのJOINに強いBIツール、Spotfireを使えば、複雑なシェルやSqlを書く必要もなくなります。

MongoDBは普通のSqlを使うデータベースのようにBIツールから接続するには、有償のODBCドライバーもありますが、こちらは無償のBIコネクターを使います。

ただ、このコネクターは、MySQL ODBC Unicode Driverに依存しているのと、Mysqlのドライバーのインストールは、Visual Studio 2015、2017、および 2019 用 Microsoft Visual C++ 再頒布可能パッケージが必要なので、両方も用意しましょう。

MongoDBがインストールされている前提で話を進みたいので、インストールは下記のページを参考してください。個人的にTB単位の外付けSSDをMongoDBを持ち歩くので、ポータルバージョンを使っています。


まず、BIコネクターに下記のコマンドでschema.drdlを作ります。（コレクションが増えた場合、作り直す必要があるようです）

C:\Program Files\MongoDB\Connector for BI\2.14\bin>mongodrdl.exe --host localhost --db dpc --out schema.drdl

そして、下記のコマンドでlocalhost 3307

C:\Program Files\MongoDB\Connector for BI\2.14\bin>mongosqld.exe

うまくリスナーが待機状態になる場合は、下記のようにコマンドプロンプトに吐き出されます。

2020-09-01T17:42:24.887+0900 I CONTROL    [initandlisten] mongosqld starting: version=v2.14.0 pid=66988 host=DESKTOP-T5OEMLV
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] git version: 6fa82d07a176aeee28f685c3f8e8806832c769b0
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] OpenSSL version OpenSSL 1.0.2n-fips  7 Dec 2017 (built with OpenSSL 1.0.2s  28 May 2019)
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] options: {}
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] ** WARNING: Access control is not enabled for mongosqld.
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten]
2020-09-01T17:42:25.172+0900 I NETWORK    [initandlisten] waiting for connections at 127.0.0.1:3307
2020-09-01T17:42:25.909+0900 I SCHEMA     [sampler] sampling MongoDB for schema...
2020-09-01T17:42:26.635+0900 I SCHEMA     [sampler] mapped schema for 4 namespaces: "node_memo_demo" (1): ["memos"]; "test" (1): ["test"]; "dpc" (2): ["facilities", "mdc01ope"]

そして、odbcを検索して、ODBCデータソース（64ビット）を起動してください。




システムDSNを追加し、MySQL ODBC Unicode Driverを選んでください。




データソース名、データベース名は自分の環境に合わせて変更してください。
問題がなければ、Testをクリックすれば、接続成功のような表示がされます。

MongoDBのCSVインポートは、下記の記事を参考してください。


Spotfireは画像の感じになります。

データを追加：その他＞ODBC~



データソース：ODBC~＞mongodb



OKをクリック、また下の窓のOKをクリックして、次のSQLステートメント画面に
select * from facilities　を入力して、データソース名を指定してOKをクリックすれば、
施設概要が取り込まれます。




それから、MDC01手術のデータ（mdc01ope）も最初の＋＞その他＞ODBC~の手順から上記と似た手順で取り込みましょう。

両方のデータが取り込まれたら、データキャンパスの画面からJIONさせます。（詳細手順は割愛します）



JOINしたデータは下記の画像のように、施設概要の情報がMDC01の件数や在院日数に結合している形になりました。


あとは、自由に結合した項目を軸にいろいろなビジュアライゼーションが作れます。





【関連するURL等】

MySQL ODBC Unicode Driver

https://dev.mysql.com/downloads/file/?id=497108

mysql-connector-odbc-8.0.21-winx64.msi

のダウンロード 

https://support.microsoft.com/ja-jp/help/2977003/the-latest-supported-visual-c-downloads

コメント

コメントを投稿

このブログの人気の投稿

iPhoneのカレンダーに見知らぬアカウントによるフィティングリンクの恐れ

 昨日突然妻から、iPhoneのカレンダーに怪しい予定はいっぱい書き込まれました。 最初はメールアドレスの盗用されたと思って、メールアカウントのパスワードと、そのメールアドレスのApple IDのパスワードを急遽変更しました。しかし、書き込みが消えず、よくカレンダーの設定のアカウントを調べると下記の画像のような気持ち悪いアカウントがいつの間にか設定されてしまいました。おそらく料理紹介のホームページにある怪しい広告をクリックしたかもしれません。くれぐれもご注意ください。 幸い、このアカウントを削除すれば、書き込みも消えました。なにが違和感を感じたときは、絶対にリンク等をクリックしないほうが身のためでしょう。 さらにnslookupで ylevelsoft.funを調べてみるとIPは13.226.77.* セグメント内の4つのようです。 $ nslookup ylevelsoft.fun Server:         192.168.11.1 Address:        192.168.11.1#53 Non-authoritative answer: Name:   ylevelsoft.fun Address: 13.226.77.19 Name:   ylevelsoft.fun Address: 13.226.77.33 Name:   ylevelsoft.fun Address: 13.226.77.8 Name:   ylevelsoft.fun Address: 13.226.77.15 これらのIPアドレスを調べると、東京にあるIPアドレスがわかって、Amazonにホスティングしてるようです。 13.226.77.19 IP Address Details - IPinfo.io カレンダーのアカウントに登録したサーばをnslookupを調べると13.33.9.*セグメントの４つが使われて、Amazonにホスティングしてるようです。 このホスト名は、server-13-33-9-105.nrt57.r.cloudfront.net 上記のIPのホスト名server-13-...
コメントを投稿
Read more »

Excel Power Query 英数字の全角から半角への変換

最近仕事上でExcelのPower Queryを始めました。しかし、英数字の全角から半角への変換関数がないため、下記のサイトを参考して、 作っちゃいました。  https://qiita.com/baku2san/items/8041d0259fe0db680e7e https://www.yoheim.net/blog.php?q=20191101 (original as text) as text =&gt; let    originalText = Text.Combine({original, ""}),    replaceResult =  Web.Page("<script>var originalText="&"'"&originalText&"'"&";var result=originalText.replace(/[Ａ-Ｚａ-ｚ０-９]/g, function(s) {return String.fromCharCode(s.charCodeAt(0) - 0xFEE0);});document.write(result);</script>")       [Data]{0}[Children]{0}[Children],    result = if (List.Count(replaceResult) &lt;= 1) then    {        "" as text // 変換して何も残らない場合    } else if (replaceResult{1}[Text]{0} = null) then    {       originalText   as text// 何も見つからない場合    }  else {       replaceResult{1}[Text]{0} as text    } in ...
コメントを投稿
Read more »

閉域網の電子カルテにJitsiを稼働させてみた！（続き）

 前回は、 閉域網の電子カルテにJitsiを稼働してみた！ を紹介しました。 サーバは古いMacminiですが、今回はインターネット環境のWindows 10のHyper-VでDebian 10を入れて、仮想サーバを電子カルテネットワーク内の、Windows server 2019とWindows server 2008のHyper-Vに移植する試みを紹介します。 Hyper-Vにすることで、新しい研究用仮想基盤や古いサーバ（旧国立大バックアップシステム等）の仮想基盤化で必要数に応じて簡単にJitsiサーバを増やすことが可能という利点があります。それから、故障した場合も簡単に他のHyper-V仮想基盤にすぐ再稼働することが可能なので耐障害になります。 今回利用したDebianのインストーラは、 debian-10.7.0-amd64-netinst.iso です。 基本のDebianのインストールはインストーラの指示通りでできますので、こちらで割愛します。必要なサービスは、VNCやSSHあたりです。GUIが利用したい場合、お好みのデスクトップで構いません。 Jitsi Meetのインストールは、 こちらのサイト（英文） を参考していますが、 こちらの環境では、下記のコマンドでやってみました。ドメイン名を使わず、IPアドレスのみでの設定なので、Hyper-Vのチェックポインの機能でIP変更のたびにJitsiをインストールします。 $ wget https://download.jitsi.org/jitsi-key.gpg.key $ sudo apt-key add jitsi-key.gpg.key $ sudo nano /etc/apt/sources.list.d/jitsi-stable.list #下記の一行を追記 deb https://download.jitsi.org stable/ $ sudo apt update $ sudo apt -d install jitsi-meet #電子カルテから簡単にインターネットからダウンロードできない環境を考えるととりあえず-dでダウンロードオンリーにします #ここでHyper-Vのチェックポインにします。 $ sudo apt install jitsi-meet イン...
コメントを投稿
Read more »