スキップしてメイン コンテンツに移動

Spotfire からMongoDBのデータを分析する（DPC公開データをサンプルに）

 MongoDBはスキーマを定義しなくても下記のように簡単にコマンド一行でCSVをインポートできます。

C:\Users\user\Desktop>mongoimport /db:dpc /collection:facilities /type:csv /file:facilities.csv /headerline

2020-09-01T14:49:28.410+0900    connected to: localhost

2020-09-01T14:49:29.428+0900    [#####...................] dpc.facilities       144KB/659KB (21.9%)

2020-09-01T14:49:30.485+0900    [#######################.] dpc.facilities       659KB/659KB (100.0%)

2020-09-01T14:49:30.486+0900    imported 4764 documents

MongoDBシェルで二つのコレクションをJOINさせるのもいいのですが、データのJOINに強いBIツール、Spotfireを使えば、複雑なシェルやSqlを書く必要もなくなります。

MongoDBは普通のSqlを使うデータベースのようにBIツールから接続するには、有償のODBCドライバーもありますが、こちらは無償のBIコネクターを使います。

ただ、このコネクターは、MySQL ODBC Unicode Driverに依存しているのと、Mysqlのドライバーのインストールは、Visual Studio 2015、2017、および 2019 用 Microsoft Visual C++ 再頒布可能パッケージが必要なので、両方も用意しましょう。

MongoDBがインストールされている前提で話を進みたいので、インストールは下記のページを参考してください。個人的にTB単位の外付けSSDをMongoDBを持ち歩くので、ポータルバージョンを使っています。


まず、BIコネクターに下記のコマンドでschema.drdlを作ります。（コレクションが増えた場合、作り直す必要があるようです）

C:\Program Files\MongoDB\Connector for BI\2.14\bin>mongodrdl.exe --host localhost --db dpc --out schema.drdl

そして、下記のコマンドでlocalhost 3307

C:\Program Files\MongoDB\Connector for BI\2.14\bin>mongosqld.exe

うまくリスナーが待機状態になる場合は、下記のようにコマンドプロンプトに吐き出されます。

2020-09-01T17:42:24.887+0900 I CONTROL    [initandlisten] mongosqld starting: version=v2.14.0 pid=66988 host=DESKTOP-T5OEMLV
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] git version: 6fa82d07a176aeee28f685c3f8e8806832c769b0
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] OpenSSL version OpenSSL 1.0.2n-fips  7 Dec 2017 (built with OpenSSL 1.0.2s  28 May 2019)
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] options: {}
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten] ** WARNING: Access control is not enabled for mongosqld.
2020-09-01T17:42:25.168+0900 I CONTROL    [initandlisten]
2020-09-01T17:42:25.172+0900 I NETWORK    [initandlisten] waiting for connections at 127.0.0.1:3307
2020-09-01T17:42:25.909+0900 I SCHEMA     [sampler] sampling MongoDB for schema...
2020-09-01T17:42:26.635+0900 I SCHEMA     [sampler] mapped schema for 4 namespaces: "node_memo_demo" (1): ["memos"]; "test" (1): ["test"]; "dpc" (2): ["facilities", "mdc01ope"]

そして、odbcを検索して、ODBCデータソース（64ビット）を起動してください。




システムDSNを追加し、MySQL ODBC Unicode Driverを選んでください。




データソース名、データベース名は自分の環境に合わせて変更してください。
問題がなければ、Testをクリックすれば、接続成功のような表示がされます。

MongoDBのCSVインポートは、下記の記事を参考してください。


Spotfireは画像の感じになります。

データを追加：その他＞ODBC~



データソース：ODBC~＞mongodb



OKをクリック、また下の窓のOKをクリックして、次のSQLステートメント画面に
select * from facilities　を入力して、データソース名を指定してOKをクリックすれば、
施設概要が取り込まれます。




それから、MDC01手術のデータ（mdc01ope）も最初の＋＞その他＞ODBC~の手順から上記と似た手順で取り込みましょう。

両方のデータが取り込まれたら、データキャンパスの画面からJIONさせます。（詳細手順は割愛します）



JOINしたデータは下記の画像のように、施設概要の情報がMDC01の件数や在院日数に結合している形になりました。


あとは、自由に結合した項目を軸にいろいろなビジュアライゼーションが作れます。





【関連するURL等】

MySQL ODBC Unicode Driver

https://dev.mysql.com/downloads/file/?id=497108

mysql-connector-odbc-8.0.21-winx64.msi

のダウンロード 

https://support.microsoft.com/ja-jp/help/2977003/the-latest-supported-visual-c-downloads

コメント

コメントを投稿

このブログの人気の投稿

さくらインターネットのレンタルサーバにMysqlの大きいdumpファイルのインポート

 さくらインターネットのレンタルサーバはFreeBSDをつかっています。 LAMP の環境が揃っています。 基本的にFTPアカウントが発行されて、Webベースでファイルの転送もデータベースの作成および管理（phpMyAdmin）ができます。 しかし、phpMyAdminは、dumpファイルをインポートする場合、最大１６MBのファイルしかアプロードできません。 明確的にSSHアカウントは提示されていないが、実際にSSHでの接続も可能だと確認しました。しかし、SSHで接続してもmysqlでリモートMysqlサーバへの接続はできなかったようです。 そこで、dumpファイルの中身はSQL文なので、 A5m2 というSQLクライアントからインポートすることを試しました。 もちろん、自宅のパソコンから直接Mysqlサーバを接続できるとは思いませんが、一応試してみました。案の定、当たり前に制限がかけられています。 で、よく考えるとレンタルサーバからアクセスできるから、そのIPは許可されているだろうと思います。 なので、SSHトンネルを Bitvise SSH Client で掘ろうと考えていました。 BitviseのSSH設定はそんなに難しくないので、割愛しますが、 C2Sのタブの設定は下記の通りです。 listen interface => 127.0.0.1 List Port => 3306 (ローカルにMysqlが稼働している場合、3326とかに設定してください） Destination Host => レンタルサーバが提供しているMysqlサーバ　mysql~.~.ac.jp Dest. Port => 3306 A5m2のデータベース設定は、Mysql直接接続で、IPを127.0.0.1にすれば、接続できるはずです。 それから、Dumpファイルを読み込んで「先頭からすべて」実行をすれば、いまのところ500MB位のファイルでも実行できました。だが、１．２GBのファイルは読み込みの途中にエラーになったが、ファイルが大きい過ぎたか、それともUTF8コードの問題なのか調査中です。結果がわかった次第追記します。
コメントを投稿
Read more »

Redmine 4.1.1-5 Textile の外部リンクを新しいタブで開く

\Bitnami\redmine-4.1.1-5\apps\redmine\htdocs\lib\redmine\wiki_formatting\textile にある、redcloth3.rb の８５０行目を下記のように   target='_blank' を追加して、Redmineを再起動してください。             "#{pre}<a#{atts}#{external} target='_blank' >#{text}</a>#{post}"
コメントを投稿
Read more »

大学入学試験の小論文対策一例

【娘の大学受験対策＆合格発表】 昨日から仕事ではなかなかなかった緊張感を味わってきました。娘の合格発表を待つためでした。昔の自分の合格発表もそんなに緊張していなかったのにですね。 😅 娘はコロナ禍の影響もあって、本来理系の難関校クラスで高校2年生まで頑張りましたが、計算が遅く公式も理解しないと次へ進まないタイプで大量の宿題に押しつぶされて、高校3年生になる直前に文転を決めました。 幼稚園から私の転職もあって、３つの幼稚園を通ったこともありました。そして、学力の懸念で公立小学から私立カトリック系の小学に転校もしました。 そのままカトリック系の中高一貫に通うかなと思ったけど、それも小学生5年生になる直前に他の私立中高一環の学校へ行きたいと言って、そのために塾に通わせても体力的に続けられませんでした。 英語力は英検3級ありますが、47都道府県は覚えられなかったレベルで仕方なくいま通っている高校の中学校の特訓コースに入ってもらいました。最初は120人中99位でしたが、自己推薦入試の直前になんと2位まで上がりました。結局一番上のパイアニアコースのクラスに入れました。このようなダークホースの性質は私とすごく似ています。 高校3年に文転したばかりの娘はもちろん指定校推薦には縁がありませんでした。先月は茗荷谷にあるC大学の法学部のチャレンジ推薦に挑戦しましたが、小論文はうまく書けず、残念な結果になりました。 先月末に四谷のS大学の法律学科の専願の試験までは、C大学の合格発表からわずか20日間で娘はちゃんと準備できるかすごく不安でした。 娘の不安を和らげるため、自己流の対策を教えたのです。小論文の山かけは外れましたが、それなりの情報を集めたので、娘はかなり心強く試験に臨んだ気がします。 まずはごく一般のやり方で過去問で傾向をみることにしました。 一応、私も研究者なので、小論文を出題する先生は下記のサイトにも情報が公開されているはずと思いました。大学名と学科で絞り込みすれば、推測できない範囲でもなかったです。（教授10名、准教授2名） https://lnkd.in/g2yYFnYf 過去問は朝日新聞の記事が何回か使われたので、 先生達の研究分野と研究内容等をperplexityに関連する社会問題と新聞記事のランキングを出してもらいました。先生一人当たり10記...
コメントを投稿
Read more »