スキップしてメイン コンテンツに移動

apacheのアクセスログから、特定のページのIP別のページビュー数とIPのWhois情報の取得

 単純にいうとコマンド一行でいけます。中身はやや複雑ですが、こんな感じです。

echo "ip,hostname,country,region,city,organization,location,postal,timezone,count" >ipwhois.csv; for var in `sudo cat /var/log/apache2/access.log /var/log/apache2/access.log.1 | grep myhppage.html | gawk '{print $1}' | sort | uniq -c| gawk '{print $1 "," $2}'`;do arr=($(echo $var | tr "," " ")); ip=${arr[1]} ;echo  `curl ipinfo.io/${ip}?token=xxxxxxxxxx | jq -r '[.ip,.hostname,.country,.region,.city,.org,.loc,.postal,.timezone]|@csv'`,${arr[0]};done >> ipwhois.csv

1.echo でタイトル行をipwhois.csvに書き込む
2.アクセスログ・ファイル、access.logとaccess.log.1を標準出力に出してgrepで絞り込み、gawkでIPを取り出す。
3.取り出したIPをsortして、uniqでカウントして、gawkでカウント数とIPアドレスをカマンで結合する
4.結合したものをvarという変数にいれて、do ループに入る。
5.do ループはtrでカンマをスペースに置き換え、arr配列を作り出す。
6.$ip変数はcurlのipinfo.ioサイトに渡してjsonのwhois情報を取得し、jqでcsvに変換する。
7、変換したcsvの後ろにarr配列に確認しているカウント数と結合してipwhois.csvに追記して完成する

コメント

このブログの人気の投稿

余裕ですかね。

  いまの自分はやることが多いが、意外と慌てず一歩一歩現場と歩んでいき、地道にデータ入力から可視化までの利便性、完全性と正確性を追求する余裕が出ております。SpotfireというBIツールにハマり、人に使い方を教えながらもまたその恩恵を受けているといういい循環も大きいですね。大体自分のようなポストにいる人たちはあまりプログラムを書く余裕もないだが、自分は幸せのほうと思います。

自己流思い付き

 長年契約してきたさくらインターネットのVPSに稼働しているWordpressが何らかのものに削除されました。幸い残したいものはこのブログに移したので、あまり困ったことはありませんでした。もうVPSを解約しようと思いますが、今年の11月までの契約なので、正直って迷っております。  職場のホームページサーバがMacmini上のピュアDebianなので、実験台としてVPSを契約したのですが、もう実験しないし、解約してもよいだと思います。   このブログもこれをきっかけにタイトルを変えました。

Excel Power Query 英数字の全角から半角への変換

最近仕事上でExcelのPower Queryを始めました。しかし、英数字の全角から半角への変換関数がないため、下記のサイトを参考して、 作っちゃいました。  https://qiita.com/baku2san/items/8041d0259fe0db680e7e https://www.yoheim.net/blog.php?q=20191101 (original as text) as text =&gt; let    originalText = Text.Combine({original, ""}),    replaceResult =  Web.Page("<script>var originalText="&"'"&originalText&"'"&";var result=originalText.replace(/[A-Za-z0-9]/g, function(s) {return String.fromCharCode(s.charCodeAt(0) - 0xFEE0);});document.write(result);</script>")       [Data]{0}[Children]{0}[Children],    result = if (List.Count(replaceResult) &lt;= 1) then    {        "" as text // 変換して何も残らない場合    } else if (replaceResult{1}[Text]{0} = null) then    {       originalText   as text// 何も見つからない場合    }  else {       replaceResult{1}[Text]{0} as text    } in     result{0}