スキップしてメイン コンテンツに移動

BIルールで形態素分析:Spotfire + NMecab + Iron Python + DataTable





import clr    

clr.AddReferenceToFileAndPath(r"D:/Work/NMecab/bin/LibNMeCab.dll")

import System

from System import *

import NMeCab

from NMeCab import *


import Spotfire.Dxp.Application

from Spotfire.Dxp.Data import *

from Spotfire.Dxp.Application.Visuals import VisualContent

from System.Collections.Generic import HashSet

from System.IO import FileStream, FileMode, File, MemoryStream, SeekOrigin, StreamWriter


import System.String

from Spotfire.Dxp.Data.Import import TextDataReaderSettings

from Spotfire.Dxp.Data.Import import TextFileDataSource


def LoadCSV(dataTableName, stream):

settings = TextDataReaderSettings()

settings.Separator = ","

settings.AddColumnNameRow(0)

settings.ClearDataTypes(True)

settings.SetDataType(0, DataType.String)

settings.SetDataType(1, DataType.String)

settings.SetDataType(2, DataType.Real)

settings.SetDataType(3, DataType.Real)

stream.Seek(0, SeekOrigin.Begin)

fs = TextFileDataSource(stream, settings)

if Document.Data.Tables.Contains(dataTableName):

Document.Data.Tables[dataTableName].ReplaceData(fs)

else:

Document.Data.Tables.Add(dataTableName, fs)



stream = MemoryStream()


DicDir = r"D:\Work\NMecab\dic\ipadic"


t=MeCabTagger.Create(DicDir)


nodes = t.Parse( sentence )


result = ""

csvWriter = StreamWriter(stream) #, Encoding.UTF8)

csvWriter.WriteLine("COL01,COL02,COL03,COL04,COL05,COL06,COL07,COL08,COL09,COL10\r\n")


for node in nodes :

print node.Surface + "\t" + node.Feature

result = result +  node.Surface + "\t" + node.Feature + "\n"


csvWriter.WriteLine(node.Surface + "," + node.Feature + "\n")


Document.Properties['NMeCabPaserResult'] = result



csvWriter.Flush()

LoadCSV("test", stream)


exit


コメント

このブログの人気の投稿

さくらインターネットのレンタルサーバにMysqlの大きいdumpファイルのインポート

 さくらインターネットのレンタルサーバはFreeBSDをつかっています。 LAMP の環境が揃っています。 基本的にFTPアカウントが発行されて、Webベースでファイルの転送もデータベースの作成および管理(phpMyAdmin)ができます。 しかし、phpMyAdminは、dumpファイルをインポートする場合、最大16MBのファイルしかアプロードできません。 明確的にSSHアカウントは提示されていないが、実際にSSHでの接続も可能だと確認しました。しかし、SSHで接続してもmysqlでリモートMysqlサーバへの接続はできなかったようです。 そこで、dumpファイルの中身はSQL文なので、 A5m2 というSQLクライアントからインポートすることを試しました。 もちろん、自宅のパソコンから直接Mysqlサーバを接続できるとは思いませんが、一応試してみました。案の定、当たり前に制限がかけられています。 で、よく考えるとレンタルサーバからアクセスできるから、そのIPは許可されているだろうと思います。 なので、SSHトンネルを Bitvise SSH Client で掘ろうと考えていました。 BitviseのSSH設定はそんなに難しくないので、割愛しますが、 C2Sのタブの設定は下記の通りです。 listen interface => 127.0.0.1 List Port => 3306 (ローカルにMysqlが稼働している場合、3326とかに設定してください) Destination Host => レンタルサーバが提供しているMysqlサーバ mysql~.~.ac.jp Dest. Port => 3306 A5m2のデータベース設定は、Mysql直接接続で、IPを127.0.0.1にすれば、接続できるはずです。 それから、Dumpファイルを読み込んで「先頭からすべて」実行をすれば、いまのところ500MB位のファイルでも実行できました。だが、1.2GBのファイルは読み込みの途中にエラーになったが、ファイルが大きい過ぎたか、それともUTF8コードの問題なのか調査中です。結果がわかった次第追記します。

Redmine 4.1.1-5 Textile の外部リンクを新しいタブで開く

\Bitnami\redmine-4.1.1-5\apps\redmine\htdocs\lib\redmine\wiki_formatting\textile にある、redcloth3.rb の850行目を下記のように   target='_blank' を追加して、Redmineを再起動してください。             "#{pre}<a#{atts}#{external} target='_blank' >#{text}</a>#{post}"

plantuml node procedure アーキテクチャ図の部品化

 最近よくアーキテクチャ図を描くようになりました。 一々Node名とリンクやIP、データベースの設定するのもいいのですが、 Node数が多すぎると大変な作業になります。そこで、plantumlのprocedureを作れました。 他の部品も同じ方法で作れますので、興味ある方はご参考ください。 SVG画像 @startuml !procedure $node($alias, $name="mynode",$ip="", $database="", $namelink="", $dbtype="", $dblink="", $fontsize=14, $color="#bafcc8") !include skinparam node { backgroundColor $color FontSize $size } !if ($namelink != "") !$name = "[[" + $namelink + " " + $name + "]]" !endif !if ($ip != "") !$name = $name + "\n(" + $ip + ")" !endif node "$name" <<$archimate/technology-node>> as $alias { !if ($database != "") !$dbalias = $alias + "DB" !if ($dblink != "") !$database = "[[" + $dblink + " " + $databas...