Node for MaxでMaxからTwitterを利用

Maxのバージョン8から追加された機能に，Node.jsの機能をMaxで利用できるNode for Maxというものがあります．Max8がリリースした当初は，少し盛り上がりましたが，今は使っている人もいる一方で，あまり多用されていない気がします．私個人の話に限って言えば，下記の点において，あまり使う必要性を感じていませんでした．

・PythonプログラムをMaxとは別で動かして，udpか何かで結果を受け取ればweb APIの利用は不可能ではない（というより，Node for Max登場以前からそうしていた）

・Node.jsが何か，あまり理解していない

・C++でエクスターナルを作れば，あらかた出来ないことはない（幸い，現時点でそのスキルを有している）

・Node.jsが何か，あまり理解していない

結局，Node.jsって何なんでしょう？今の時代，webやクラウド上に存在する膨大なリソースをMaxで直接利用できるようになったのは，必然とは言えるかもしれません．

私個人が利用する分においては，全く必要性を感じないNode for Maxですが，とある事情で，大急ぎで習得しないといけなくなったので，光速に限りなく近づいていく物体よりも重い腰を上げて勉強を始めました．まずは，Node.jsの利用から試します．よく使っているwebサービスと連動すると，何だか嬉しいので，Twitterの利用を試してみます．

まず，Twitter Developperでdevelopper accountを作成し，appを作成します．この手順が非常に多くの手順を必要とします．その後，MaxでTwitterを利用するNode.jsスクリプトおよびMaxパッチを作成します．

まずは，Twitter Developperに自身のTwitter IDでログインします（今は国民一人につき，一つはTwitter IDを持っている時代ですよねぇ・・・）．

その状態で，"Apps"へ行きます．

"Create an app"をクリックします．

適当な目的を選んで，Nextをクリックします．

国と名前を入力してNextをクリックします．

このappの目的を聞かれるので，Google翻訳で嘘800の目的を書いておきます．それ以外の項目は，"No"にするとNextが押せるようになります．

確認画面が出るので，"Looks good"をクリックします．

規約を読んで，チェックボックスにチェックを入れ，"Submit application"をクリックします．

メールが届くので，"Confirm your email"をクリックすると，審査が始まります．しばらく時間がかかります．

何度か追加で説明を求められる場合もありますが，その度に追加で説明をします．（日本語でも良さそうです）

審査が完了すると，メールが届きます．

developper accountにアクセスすると，このような画面になります．"Create Project"をクリックします．

プロジェクト名を入力し，Nextをクリックします．

目的を選んでNextをクリックします．

目的を入力します．先のステップで入力したものと同文で大丈夫です．

app名を入力して，"Complete"をクリックすると，app作成が完了します．

今作ったappを選択し，鍵マークをクリックします．

"Keys and tokens"タブに行き，"API Key &secret"及び"Access token & secret"の欄を"Generate"もしくは"Regenerate"します．

・API key

・API key secret

・Access token

・Access token secret

の4つが必要なので，メモしておきます．

いよいよ，Node.jsスクリプトを作って行きます．

ポイントは，Maxのnode.scriptが特定のメッセージを受け取ったときのイベントハンドラを作るところです．そのときに，Twitter APIを呼び出して，タイムラインの取得やツイートの投稿を行なっています．

const Max=require('max-api');//Node for MaxのAPI
const Twitter=require('twitter');//Twitter API
console.log('app start');
var client=new Twitter({
	consumer_key:'自分のAPI key',
	consumer_secret:'自分のAPI key secret',
	access_token_key:'自分のAccess token',
	access_token_secret:'自分のAccess token secret'
	});

Max.addHandler("timeline", () => { //node.scriptが"timeline"を受け取った際のイベントハンドラ
	client.get('statuses/user_timeline',{screen_name:"dakiyamasan"},function(error,tweets,response){ //dakiyamasanのタイムラインを取得
       	 	if(!error){
			//タイムラインを表示
                	console.log(tweets);
			Max.outlet(tweets);
        	}
	});			
});

Max.addHandler("Tweet",(msg)=>{ //node.scriptが"Tweet xxx"を受け取った際のイベントハンドラ．2番目の文字列がmsgに格納されている．
	client.post('statuses/update', {status:msg}, function(error, tweet, response){ //msgをツイートする
    		if (!error) {
        		console.log(tweet);
    		} else {
        		console.log('error');
    		}
	});
});

Maxパッチはこのようになります．node.scriptに先ほど作ったスクリプトを指定します．

ここで，node.scriptに"script npm --save twitter"メッセージを入力すると，Twitter APIの利用に必要なパッケージがインストールされます．インストールできたかどうか，右下のnode.script debug toolに表示されます．

node.scriptに"script start"を入力すると，実行が始まります．実行が始まっても，イベントドリブンなので，ほぼ何も起こりません．node.script debug toolがProcess runningになる程度です．

node.script debug toolでShow consoleをクリックすると，コンソールモードになります．ここで，"app start"が表示されていることで，console.log('app start'); が実行されたことがわかります．このようにしてデバッグすることができます．

node.scriptに"timeline"を入力して，タイムラインを取得します．

node.scriptに"tweet xxx"を入力して，ツイートを投稿します．テキストボックスにツイートを入力して，上のButtonをクリックします．

ツイートできました．

Node.jsでタイムラインを取得しても，今のツイートが反映されています．

とりあえず，MaxNode.jsをMaxでどう使うかは分かりました．

サイゼリヤの間違い探しを独立成分分析

家の近所にある唯一のファミレスがサイゼリヤなので，特に好きでもないのにたまに行くんですが，子供向けメニューに「間違い探し」が載っています．普段特に見ていないのですが，結構難しいと度々話題になるようです．

キッズメニュー間違い探し - サイゼリヤ

凄く「違い」が小さいエリアに存在していたり，間違い探しの問題文となる文字の部分に違いがあったりして，確かに非常に難しいです．

これを画像処理的に違いを見つけようという試みがいくつかweb上で行われています．私が最初に見つけたのはこちらです．

サイゼリヤの間違い探しがむず過ぎるので、独立成分分析をお見舞いしてやった

他にもっと「賢い」方法がいくつも公開されていますが，この方法は具体的にどうやるのか方法が公開されていないので，私の方でもやってみて纏めました．

まず，キッズメニュー間違い探し - サイゼリヤに掲載されている間違い探しから適当に選んで画像をダウンロードします．ダウンロード画像には，左右に白い余白があるので，それをまずカットしておきます．

これをMATLABで独立成分分析します．

独立成分分析とは，非常にざっくり言うとこんな感じの分析です．

こんな感じに，「なんか2つ（以上）の特徴に分割できそうだな〜」という2次元データの集合を，

こういう風に変形（無相関化）して，更に

こういう風に変形します．

こうすると，直交座標の横軸（第1成分）と縦軸（第２成分）それぞれに，見たかった特徴量が現れるという手法です．独立成分分析の応用でよく知られた分野に音源分離があります．2つのマイクロホンで録音した同一空間上に2人の話者が同時に発話している音声データ（2つのマイクロホンからの音声は，どちらも2人の声が混ざって拾っている），独立成分分析することで，2人それぞれの声に分離することができます．

独立成分分析で間違い探しを行う大まかなアイデアは以下です．

まず，2枚の画像データを比較したい訳ですが，「間違い探し」である以上，両画像データのほとんどは全く同じデータであり，「間違い」となる両画像で差異のあるデータは，全体の中の一部しかないということが予想されます．

2枚の画像データ（画像1，画像2）の，それぞれ対応する場所の画素データを並べた画像の総画素数x2の行列

{(画像1(0,0)のR, 画像2(0,0)のR), (画像1(0,0)のG, 画像2(0,0)のG),(画像1(0,0)のB, 画像2(0,0)のB), (画像1(1,0)のR, 画像2(1,0)のR), (画像1(1,0)のG, 画像2(1,0)のG),(画像1(1,0)のB, 画像2(1,0)のB), ・・・（画像の最後まで）}

の各行をプロットするとこのようになります．（画素データを-0.5~0.5にスケールしています）

この時，上記予想を踏まえると，以下のことが言えそうです．

・両画像で違いがない画素は，y=x の直線上（実用的にはその付近）に存在する．

・y=x の直線上（実用的にはその付近）にない画素は，「間違い」の画素である．

このデータを独立成分分析して，「間違い」の成分だけを可視化します．最終的にはこうなれば，両画像で同じである成分と「間違い」の成分を直交座標から別々に読み取ることができます．

まずデータの準備．

clear;
close all;
%元画像読み込み
src=imread('body.png');
srcsize=size(src);
width=srcsize(2)/2;%画像の横幅は元画像の半分（両画像が横に並べられているから）
height=srcsize(1);
img1=zeros(width,height,3);%画像1
img2=zeros(width,height,3);%画像2
dst1=zeros(width,height,3);%分析後の画像1
dst2=zeros(width,height,3);%分析後の画像2
ivec=zeros(2,width*height*3);%画像データのベクトル（実際の分析はこのベク鳥に対して行う）
%画像を分割，ベクトルに代入
for y=1:height
    for x=1:width
        for c=1:3
            img1(y,x,c)=src(y,x,c);
            img2(y,x,c)=src(y,x+width,c);
            ivec(1,3*x+(y-1)*width*3+c)=(img1(y,x,c)/255)-0.5;
            ivec(2,3*x+(y-1)*width*3+c)=(img2(y,x,c)/255)-0.5;
        end
    end
end
%画像を表示
figure(1);
imshow(uint8(img1));
figure(2);
imshow(uint8(img2));
%ベクトルの散布図を表示
figure(3);
plot(ivec(1,:),ivec(2,:),'.','MarkerSize',1);











先ほどの図が得られました．このデータの自己相関行列を求めて，データを無相関化します．




%独立成分分析
R=[ivec(1,:)*ivec(1,:)' ivec(1,:)*ivec(2,:)';ivec(2,:)*ivec(1,:)' ivec(2,:)*ivec(2,:)']/length(ivec(1,:));%自己相関行列
[Q,L]=eig(R);%自己相関行列の固有値・固有ベクトル
V=sqrt(inv(L))*Q';%信号無相関化行列
xd=V*ivec;%無双感化されたデータxdを得る
figure(4);
plot(xd(1,:),xd(2,:),'.','MarkerSize',1);




xdをプロットするとこうなります．








なんか，もうこれでいいような気もしますが，一応，無相関化されたデータが与えられた時に，それの各成分が直行座標の各軸に重なるような回転行列を求めます．
これはFastICAという手法によって行います．


%FastICA
B=eye(2,2);
% 1列目の基底探索 %
sh=xd;
for i=1:50
    b1_past=B(:,1);                           %b1の記録
    sh(1,:)=B(:,1)'*xd;                           
    B(1,1) = mean( sh(1,:).^3 .* xd(1,:)) - 3*B(1,1);%Bの第1基底の1番目の要素更新
    B(2,1) = mean( sh(1,:).^3 .* xd(2,:)) - 3*B(2,1);%Bの第1基底の2番目の要素更新
    B(:,1)=B(:,1)/norm(B(:,1));                       %Bの第1基底を正規化
    if abs( B(:,1)'*b1_past -1 ) < 0.001      %収束判定
        break;
    end
end

% 2列目の基底探索 %
B(:,2)=B(:,2)-B(:,1)*(B(:,1)'*B(:,2));                    %b2の初期値をb1と直交化する

for i=1:50
    b2_past=B(:,2);                           %b2の記録
    sh(2,:)=B(:,2)'*xd;                           
    B(1,2) = mean( sh(2,:).^3 .* xd(1,:)) - 3*B(1,2);%Bの第2基底の1番目の要素更新
    B(2,2) = mean( sh(2,:).^3 .* xd(2,:)) - 3*B(2,2);%Bの第2基底の2番目の要素更新
    B(:,2)=B(:,2)-B(:,1)*(B(:,1)'*B(:,2));                    %b2をb1と直交化する
    B(:,2)=B(:,2)/norm(B(:,2));                       %Bの第2基底を正規化
    if abs( B(:,2)'*b2_past -1 ) < 0.001      %収束判定
        break;
    end
end
figure(5);
plot(sh(1,:),sh(2,:),'.','MarkerSize',1);












このデータを画像として可視化すれば，「間違い」の部分が浮かび上がります．



%データを0-255にスケール
sh(1,:)=255*sh(1,:)/max(abs(sh(1,:)));
sh(2,:)=255*sh(2,:)/max(abs(sh(2,:)));
%分離した各成分を画像化
for y=1:height
    for x=1:width
        for c=1:3
            dst1(y,x,c)=sh(1,3*x+(y-1)*width*3+c);
            dst2(y,x,c)=sh(2,3*x+(y-1)*width*3+c);
        end
    end
end
%表示
figure(6);
imshow(uint8(dst1));
figure(7);
imshow(uint8(dst2));








ある程度「間違い」の部分を見つけられるようになりましたが，凄く小さい間違いはほとんど分かりません．
また，右下のゴーグルはこの分析では違いがほとんど目立ちませんでした（一応色は付いています）．










参考
キッズメニュー間違い探し - サイゼリヤ
https://www.saizeriya.co.jp/entertainment/

ディジタル音声&画像の圧縮/伸張/加工技術 - CQ出版
https://www.cqpub.co.jp/hanbai/books/31/31451.htm