スキップしてメイン コンテンツに移動

BIルールで形態素分析:Spotfire + NMecab + Iron Python + DataTable





import clr    

clr.AddReferenceToFileAndPath(r"D:/Work/NMecab/bin/LibNMeCab.dll")

import System

from System import *

import NMeCab

from NMeCab import *


import Spotfire.Dxp.Application

from Spotfire.Dxp.Data import *

from Spotfire.Dxp.Application.Visuals import VisualContent

from System.Collections.Generic import HashSet

from System.IO import FileStream, FileMode, File, MemoryStream, SeekOrigin, StreamWriter


import System.String

from Spotfire.Dxp.Data.Import import TextDataReaderSettings

from Spotfire.Dxp.Data.Import import TextFileDataSource


def LoadCSV(dataTableName, stream):

settings = TextDataReaderSettings()

settings.Separator = ","

settings.AddColumnNameRow(0)

settings.ClearDataTypes(True)

settings.SetDataType(0, DataType.String)

settings.SetDataType(1, DataType.String)

settings.SetDataType(2, DataType.Real)

settings.SetDataType(3, DataType.Real)

stream.Seek(0, SeekOrigin.Begin)

fs = TextFileDataSource(stream, settings)

if Document.Data.Tables.Contains(dataTableName):

Document.Data.Tables[dataTableName].ReplaceData(fs)

else:

Document.Data.Tables.Add(dataTableName, fs)



stream = MemoryStream()


DicDir = r"D:\Work\NMecab\dic\ipadic"


t=MeCabTagger.Create(DicDir)


nodes = t.Parse( sentence )


result = ""

csvWriter = StreamWriter(stream) #, Encoding.UTF8)

csvWriter.WriteLine("COL01,COL02,COL03,COL04,COL05,COL06,COL07,COL08,COL09,COL10\r\n")


for node in nodes :

print node.Surface + "\t" + node.Feature

result = result +  node.Surface + "\t" + node.Feature + "\n"


csvWriter.WriteLine(node.Surface + "," + node.Feature + "\n")


Document.Properties['NMeCabPaserResult'] = result



csvWriter.Flush()

LoadCSV("test", stream)


exit


コメント

このブログの人気の投稿

余裕ですかね。

  いまの自分はやることが多いが、意外と慌てず一歩一歩現場と歩んでいき、地道にデータ入力から可視化までの利便性、完全性と正確性を追求する余裕が出ております。SpotfireというBIツールにハマり、人に使い方を教えながらもまたその恩恵を受けているといういい循環も大きいですね。大体自分のようなポストにいる人たちはあまりプログラムを書く余裕もないだが、自分は幸せのほうと思います。

自己流思い付き

 長年契約してきたさくらインターネットのVPSに稼働しているWordpressが何らかのものに削除されました。幸い残したいものはこのブログに移したので、あまり困ったことはありませんでした。もうVPSを解約しようと思いますが、今年の11月までの契約なので、正直って迷っております。  職場のホームページサーバがMacmini上のピュアDebianなので、実験台としてVPSを契約したのですが、もう実験しないし、解約してもよいだと思います。   このブログもこれをきっかけにタイトルを変えました。

Excel Power Query 英数字の全角から半角への変換

最近仕事上でExcelのPower Queryを始めました。しかし、英数字の全角から半角への変換関数がないため、下記のサイトを参考して、 作っちゃいました。  https://qiita.com/baku2san/items/8041d0259fe0db680e7e https://www.yoheim.net/blog.php?q=20191101 (original as text) as text =&gt; let    originalText = Text.Combine({original, ""}),    replaceResult =  Web.Page("<script>var originalText="&"'"&originalText&"'"&";var result=originalText.replace(/[A-Za-z0-9]/g, function(s) {return String.fromCharCode(s.charCodeAt(0) - 0xFEE0);});document.write(result);</script>")       [Data]{0}[Children]{0}[Children],    result = if (List.Count(replaceResult) &lt;= 1) then    {        "" as text // 変換して何も残らない場合    } else if (replaceResult{1}[Text]{0} = null) then    {       originalText   as text// 何も見つからない場合    }  else {       replaceResult{1}[Text]{0} as text    } in     result{0}