macでKHcoderを入れようとしたらつまづいたのでメモ
人に説明するために見やすい感じにテキストマイニングしてみたいなと思って（下の記事に触発されて）KHcoderを入れてみました。
prehyou2015.hatenablog.com
===
環境
macOS Sierra 10.12.6
===
こちらの記事を参考にKHcoderを入れようとしたところ、cpanmでPermission deniedが出てつまづいたので覚書です。
qiita.com
HomebrewとRは入っていたので、mecabとmysqlを入れました。
mecabインストール
$ brew search mecab mecab mecab mecab-ipadic $ brew install mecab $ brew install mecab-ipadic $ mecab 常春の国マリネラ 常春 名詞,一般,*,*,*,*,常春,トコハル,トコハル の 助詞,連体化,*,*,*,*,の,ノ,ノ 国 名詞,一般,*,*,*,*,国,クニ,クニ マリネラ 名詞,一般,*,*,*,*,* EOS
mysqlインストール
$ brew update $ brew install mysql $ brew info mysql
私の場合は5.7.21が入りました。
mysqlを起動します。
$ mysql.server start Starting MySQL SUCCESS!
パスワードも設定しました。
$ mysql_secure_installation
今後はパスワードを入力して立ち上げます。
$ mysql -uroot -p Enter password:[設定したパスワード]
curlでcpanmをインストール
$ cd /usr/bin/
$ sudo curl -LOk http://xrl.us/cpanm
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 216 0 216 0 0 403 0 --:--:-- --:--:-- --:--:-- 403
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 131 100 131 0 0 93 0 0:00:01 0:00:01 --:--:-- 341
Warning: Failed to create the file cpanm: Operation not permitted
0 298k 0 1918 0 0 1302 0 0:03:54 0:00:01 0:03:53 1302
curl: (23) Failed writing body (0 != 1918)sudoなのに Operation not permitted...? と思って調べててみると、
どうやらmacのセキュリティ機能によるデフォルトの設定のようです。
こちらの記事を参考にさせていただきました。
qiita.com
まとめると、
1.Macを再起動させます。
2.立ち上がる時に、command + R を押し続けてリカバリーモードで起動します。
3.ユーティリティからターミナルを起動します。
4.以下のコマンドを打ちます。
$ csrutil status System Integrity Protection status: enabled.
enabledになっていると/usr/binにrootでも書き込みができないようです。
$ csrutil disable Successfully disabled System Integrity Protection. Please resart the machine for the changes to take effect.
再起動します。これで書き込めるようになっているはずです。
$ reboot
もういちどcurlを実行すると、成功しました。
$ sudo curl -LOk http://xrl.us/cpanm
Password:
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 216 0 216 0 0 368 0 --:--:-- --:--:-- --:--:-- 369
0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 131 100 131 0 0 97 0 0:00:01 0:00:01 --:--:-- 350
100 298k 100 298k 0 0 203k 0 0:00:01 0:00:01 --:--:-- 203k実行権限を与えておきます。
$ sudo chmod +x cpanm
KHcoderをダウンロード
ここからソースコードをダウンロードして任意の場所に展開します。
私もApplications以下に配置してやってみました。
http://khc.sourceforge.net/dl.html
展開したフォルダに移動します。
cd /Applications/kh_coder/
KHcoderを起動します。
perl kh_coder.pl
perlモジュールの追加
perlモジュールが足りないと文句を言われるので追加していきます。
私は以下のモジュールを入れました。
sudo cpanm Jcode sudo cpanm Tk sudo cpanm DBD::CSV sudo cpanm Spreadsheet::ParseExcel sudo cpanm Spreadsheet::WriteExcel sudo cpanm Unicode::String sudo cpanm DBD::mysql sudo cpanm Spreadsheet::XLSX sudo cpanm Spreadsheet::ParseXLSX sudo cpanm Clipboard sudo cpanm Statistics::Lite sudo cpanm Algorithm::NaiveBayes sudo cpanm Net::Telnet sudo cpanm YAML sudo cpanm Text::Iconv
igraphというパッケージは最新バージョンに対応していないらしいので古いものをDLしてきました。
Index of /src/contrib/Archive/igraph
ほかのパッケージと同じ場所に置いて、Rコンソールでインストールします。
install.packages("/Library/Frameworks/R.framework/Versions/3.4/Resources/library/igraph_0.7.1.tar.gz", repos = NULL)
Tkのインストール
Tkを入れるときに以下のエラーが出たので、
! Configure failed for Tk-804.034.
調べたところ、ActivePerlというのを入れないといけないらしいです。
あと、XcodeとXQuartzも必要のようです。
・以下のページからActivePerlをDLします。
https://www.activestate.com/activeperl
・XQuartzをインストール
XQuartz
・Xcodeをインストール（appストアから）
ActivePerlのPATHを追加します。
$ export PATH=/usr/local/ActivePerl-5.20/bin:$PATH
X11をリンクさせる
$ sudo ln -s /opt/X11 /usr/X11
Rのパッケージを導入
RコンソールでRのパッケージを導入しました。
install.packages("RColorBrewer")
install.packages("wordcloud")
install.packages("amap")
install.packages("ggdendro")
install.packages("maptools")
install.packages("ade4")
install.packages("scatterplot3d")設定を反映させるため必要に応じてPCを再起動しておきます。
再びKHcoderを起動してみます。
cd /Applications/kh_coder/ perl kh_coder.pl
やっとこさ立ち上がりました。
しかし実行してみると以下のエラーが出るので、ターミナルの言語環境をSJISに変更してから起動しないといけないみたいです。
ターミナルのデフォルト言語環境はUTF8です。
ターミナル > 環境設定 > プロファイル > 詳細
Warning message: In Sys.setlocale(category = "LC_ALL", locale = "ja_JP.EUC-JP") : OS reports request to set locale to "ja_JP.EUC-JP" cannot be honored
さらにさらに、新規プロジェクトでファイルを開こうとすると、
「MySQLのデータベースの処理に失敗しました。KH Coderを終了します。List DBs」のエラーが出ます。
この掲示板の質問と作者先生の回答にあるとおり、configフォルダのcoder.iniファイルでsql_usernameとsql_passwordの設定をします。
KH Coder 掲示板
ターミナルとXQuartz再起動したらちゃんと読み込んでくれました。
ちなみにMySQLでHOST名を確認する手順は以下の通りです。
$ mysql.server start $ mysql -uroot -p mysql> SELECT Host, User FROM mysql.user; +-----------+---------------+ | Host | User | +-----------+---------------+ | localhost | mysql.session | | localhost | mysql.sys | | localhost | root | +-----------+---------------+
使用感は次回書きます。
100mメッシュを緯度経度に変換する
今回利用したデータはこちら
参考にしたのはこちらの記事たちです。
1/10(100m)メッシュコードを緯度経度に変換する関数をつくります。
環境：OSXSierra、Anaconda、python3.6
============
import pandas as pd
import numpy as np
def CoordinateLatLon( MeshCode ):
#変数を初期化
LatArr =
LonArr =
for i in MeshCode:
#文字列型に変換
Mesh = str(i)
AB = Mesh[0:2]
CD = Mesh[2:4]
E = Mesh[4]
F = Mesh[5]
G = Mesh[6]
H = Mesh[7]
I = Mesh[8]
J = Mesh[9]
AB = float(AB)
CD = float(CD)
E = float(E)
F = float(F)
G = float(G)
H = float(H)
I = float(I)
J = float(J)
Lat = (AB/1.5*3600+E*5*60+G*30+I*3)/3600
Lon = ((CD+100)*3600+F*7.5*60+H*45+J*4.5)/3600
LatArr.append(Lat)
LonArr.append(Lon)
return (LatArr,LonArr)
#関数を利用する。
#データの読み込み（pandasを使っています）
df = pd.read_csv('5339.csv',header=None,names=['MeshCode'])
MeshCode = np.array(df.MeshCode)
print(df.MeshCode)
>[5339000000 5339000001 ...]
Lat,Lon = CoordinateLatLon(MeshCode)
緯度経度を用いてmatplotlibで地図をplotする
ざっくりですが覚書です。
環境：OSX,Anaconda,Python3.5
#必要なものをインポート
#matplotlibとBasemap （OSXではどちらもpip installで入手可能だった気がします。違ったらスミマセン。。）
import pandas as pd
import matplotlib.pyplot as plt
from matplotlib.font_manager import FontProperties
from mpl_toolkits.basemap import Basemap,cm
#データを用意
#csvファイルをpandas dataframeで読み込む
#（今回は1/10メッシュコードの土地利用データを緯度経度変換したもの）
df = pd.read_csv('test.csv',header=0)
----------
Lat,Lon,MeshCode_100m,Landuse
35.33333333333333,139.0,5339000000,100
35.33333333333333,139.00125,5339000001,1400
...
----------
#図の大きさ等指定
fig = plt.figure(figsize=(10,5)) #図の大きさ
fig.patch.set_alpha(0.0) #図全体の背景透明度
#描画領域の指定
north = max(df.Lat)
south = min(df.Lat)
east = max(df.Lon)
west = min(df.Lon)
m=Basemap(projection='merc',llcrnrlat=south,urcrnrlat=north,llcrnrlon=west,urcrnrlon=east,resolution='l')
m.drawparallels(np.arange(24.0, 48.1, 2.0), labels = [1,0,0,0], fontsize=12) #緯線を引く
m.drawmeridians(np.arange(125.0, 145.1, 4.0), labels = [0,0,0,1], fontsize=12) #経線を引く
#散布図を描く準備。流れは以下のような感じ。
##########################
#lonlist=list(df.Lon)
#latlist=list(df.Lat)
#data = list(df.data)
#x, y = m(lonlist,latlist)
#nx = len(lonlist)
#ny = len(latlist)
#lons,lats = m.makegrid(400,400)
###########################
#データフレームから必要なデータを取得
df0 = df[(df.Landuse == 100)]
df1 = df[(df.Landuse == 1400)]
#緯度経度をリスト化
lonall=list(df.Lon)
latall=list(df.Lat)
lon0=list(df0.Lon)
lat0=list(df0.Lat)
lon1=list(df1.Lon)
lat1=list(df1.Lat)
#プロットしたいデータの緯度経度を指定
xall,yall = m(lonall,latall)
x0, y0 = m(lon0,lat0)
x1, y1 = m(lon1,lat1)
#色を設定
ccolor=['#008000','#00FF00'] #16進数カラーコードで指定してもよし、色名で指定してもよし。
#ラベルを設定
cname= ['田','海浜']
#マーカーのサイズを指定
msize=8.0
#マーカーの透明度を指定
alpha=0.5
#散布図をプロット
plt.scatter(xall,yall,c='0.85',alpha=1.0,s=2.0,label='九十九里町',marker='o')
plt.scatter(x0,y0,c=ccolor[0],alpha=alpha,s=msize,label=cname[0],marker='o')#100
plt.scatter(x1,y1,c='olive',alpha=alpha,s=msize,label=cname[1],marker='o')#1400
#枠線をグレーにする
ax = plt.gca() # get current axis
ax.spines["right"].set_color("lightgray") # 右枠
ax.spines["top"].set_color("lightgray") # 上枠
ax.spines["left"].set_color("lightgray") # 左枠
ax.spines["bottom"].set_color("lightgray") # 下枠
ax.patch.set_alpha(0.0) #描画領域の中の背景透明度
#フォントを指定
fp = FontProperties(fname='/Library/Fonts/ヒラギノ丸ゴ ProN W4.ttc')
#タイトルを指定
plt.title('九十九里町',fontdict={'fontproperties':fp})
#凡例の設定
leg=plt.legend(loc='upper left',prop=fp,markerscale=1.0,bbox_to_anchor(-0.5,0.8),fancybox=1)
leg.get_frame().set_alpha(0.0) #凡例を透明にする←これやったら透明にはなったけどlegendの枠線が消えてしまいました。。
#ファイルを保存する
plt.savefig('example.png')
#描画を表示する
plt.show()
だいたいこんな感じの図が描けます。
測地系のはなし
GoogleMapからある施設の緯度経度を求めて、Pythonでplotするという事案がありました。
そこでGoogleMapの測地系を調べてみたところ、WGS84（世界測地系）となっていました。
WGS84とは何か、JGD2000と違うのか、と思い調べるとこんな記事がありました。
2～3メートルの誤差が許容される程度のものであれば、
いつのWGS84でもJGD2000同じと考えてかまいません。
ちなみにJGD2011というのは東日本大震災のあとに生じたズレを加えたものだそうです。こちらも1〜2mとかのズレを気にしない場合はJGD2000と同じとしてよさそうです。
GoogleMapで緯度経度情報を出す
1.GoogleMapに目当ての施設を入力（例：東京駅）
2.赤いマークを右クリックして、「この場所について」をクリック
3.下の方に緯度経度情報が出てきます。
日本測地系へ変換
今回の地図は日本測地系（Tokyo）のデータを使っているので、
いいか悪いかは謎ですが、まあざっくり位置が合えばいいので、以下のサイトで 世界測地系→日本測地系 に変換します。
東京駅
緯度：35.681259 → 35.678034633
軽度：139.767062 → 139.770285697
次回はこれをPythonでplotしていきます。