機械学習の話題ばかりですみません．
ここ最近のMacBook Pro，本当に使えないですねぇ．
ここ最近のMacBook Pro
ここ最近のMacBook Proの嫌いな点を箇条書きで書きます．
・キーボードが押しづらい．たまに'a'キーが，押した感触が一切なくなる（でも押せている）
・Touch Bar（キーボード上部の細長いタッチパネル）などといううどの大木のせいで物理escキーがなくなった
・トラックパッドがでかすぎる．タイピングしている途中に，知らないうちに触っていて，意図しないところをクリックしてしまう
・外部機器とのインタフェースがUSB Type-Cだけになったことによって，互換性が非常に悪くなった（特に，BootCamp時に外部ディスプレイに接続する時の成功率が著しく低い．映像ソフトウエアの開発をする身としては致命的な欠陥）
・GPUがNVidia GeforceではなくAMD Radeon Proになってしまった
何が「GAFAでは生産性が重視される」ですか．自分は生産性を低下させる製品を世に出しておいて良い御身分ですね．若い人材を使い潰して生産人口を低下させる日本のブラック企業と同様に社会に害しかもたらしていない企業です．
私のしょぼいキャリアの中で言えば，GPUがNVidiaでなくなってしまったのは，かなりキツイです．CUDAが使えなくなったからです．私は仕事でも趣味でも結構CUDAを使ってきました．これまでのMacBook ProはNVidiaのGPUを搭載していたので，焼肉食べ放題とかに行ってCUDAの開発をしたりということができていました．しかし，ある時期からMacBook Proに搭載するGPUがAMDになってしまったせいで，それが出来なくなってしまいました．そのために，最近は
OpenCLでグラフィック表示との連携を試したりもしています．（でもCUDAの方が断然分かりやすいです．）
さて，ここ一年くらいで，私はようやく重い腰をあげて機械学習を勉強し始めて，
自分が出演できそうなAVのジャンルとプレイを明らかにしたりしてきました．一個人が機械学習をやってみる上で，最も課題となるのは，その計算量の多さです．ちょっとした機械学習プログラムを実行するのでも，CPUで計算すると，何日単位で計算時間がかかります．
そのため，凄いGPU（大抵NVidia）を積んだマシンを用意するか，凄いGPUや計算デバイスを積んだクラウドサーバに計算させるかという方法をとります．後者の代表的なサービスが
Google Colaboratoryです．このサービスは，無料でGPUを使った機械学習を実行させることができるかなり優良サービス（
無料なのに優良．ガハハ）なのですが，私個人としてはちょっと嫌だなと思っている点がいくつかあります．
・データファイルを保持しておくストレージが一時的にしかファイルを保持しない．Google Driveをストレージとして連携する方法があるが，通常の動作方法より一手間多くなる
・一旦計算を開始して，長時間放っておくと，ランタイムが終了している．下記のような対策もなきにしもあらずだが，一体何のためのクラウドサービスなんだという感想しか抱かない．（下記でも全てのセッション切れを対策できない）
・私がやりたいのは，焼肉屋とかでラップトップを開いて機械学習をすることであって，焼肉屋はインターネット接続できるかどうか定かではない．
・本記事の冒頭で「GAFA」と一纏めにして悪く言っている以上，Googleのサービスを利用するのは男のすることではない
どれもこれも，MacBook ProがNVidiaを搭載しなくなったのが悪いのです．（MacBook ProにNVidiaのGPUが搭載されていたからといって，それが本当に機械学習のデバイスとして動作するのか，定かではありません．でもCUDA自体は動くわけだから，何かやり方があるだろうと思っています．）
私はただ，焼肉を食べながら機械学習の勉強をしたいだけなのに，なんでいちいちインターネット接続してクラウドサービスなんて使わないといけないのでしょう？
要は，MacBook Proに積んでいるAMDのGPUで機械学習できれば良いわけです．というわけで調べた結果，
PlaidMLというフレームワークが存在することを知りました．PlaidMLは，様々なCPUやGPUを対象にして開発されている機械学習フレームワークで，Kerasのバックエンドとしても使えます．これを導入すれば，ここ最近のMacBook ProのAMD Radeon Proで機械学習できるようなので，試してみました．
実験に使ったのは，本ブログの以前の記事
の，画像を100種類に分類するプログラムです．
この記事では，学習したモデルとパラメータを一旦ファイルとして保存し，別プログラムでそのファイルを読み込んで検証画像を分類しました．
今回は，実験用に1つのプログラムで学習し，学習後，どうプログラム内で検証画像を分類します．まず，単純に上記記事のプログラムを1つのプログラムにまとめたのが以下．実行時間を計測する処理も加えています．
import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt
import time
#時間計測開始
start = time.time()
#CIFAR100のラベル名
CIFAR100_LABELS_LIST = [
'apple', 'aquarium_fish', 'baby', 'bear', 'beaver', 'bed', 'bee', 'beetle',
'bicycle', 'bottle', 'bowl', 'boy', 'bridge', 'bus', 'butterfly', 'camel',
'can', 'castle', 'caterpillar', 'cattle', 'chair', 'chimpanzee', 'clock',
'cloud', 'cockroach', 'couch', 'crab', 'crocodile', 'cup', 'dinosaur',
'dolphin', 'elephant', 'flatfish', 'forest', 'fox', 'girl', 'hamster',
'house', 'kangaroo', 'keyboard', 'lamp', 'lawn_mower', 'leopard', 'lion',
'lizard', 'lobster', 'man', 'maple_tree', 'motorcycle', 'mountain', 'mouse',
'mushroom', 'oak_tree', 'orange', 'orchid', 'otter', 'palm_tree', 'pear',
'pickup_truck', 'pine_tree', 'plain', 'plate', 'poppy', 'porcupine',
'possum', 'rabbit', 'raccoon', 'ray', 'road', 'rocket', 'rose',
'sea', 'seal', 'shark', 'shrew', 'skunk', 'skyscraper', 'snail', 'snake',
'spider', 'squirrel', 'streetcar', 'sunflower', 'sweet_pepper', 'table',
'tank', 'telephone', 'television', 'tiger', 'tractor', 'train', 'trout',
'tulip', 'turtle', 'wardrobe', 'whale', 'willow_tree', 'wolf', 'woman',
'worm'
]
#CIFAR-100 datasetの読み込み
(x_train, y_train), (x_test, y_test) = keras.datasets.cifar100.load_data(label_mode='fine')
train_labels_onehot=keras.utils.to_categorical(y_train,100)
test_labels_onehot=keras.utils.to_categorical(y_test,100)
#画像をfloat32(0.~1.)に変換
x_train=x_train.astype("float32")/255.0
x_test=x_test.astype("float32")/255.0
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)
#学習画像を少し見てみる
plt.figure(figsize=(5,5))
for i in range(25):
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
plt.imshow(x_train[i+25])
plt.xlabel(CIFAR100_LABELS_LIST[int(y_train[i+25])])
#ネットワーク作成
model=keras.Sequential()
model.add(keras.layers.Conv2D(filters=32,kernel_size=(3,3),padding='same',activation='relu',input_shape=(32,32,3)))
model.add(keras.layers.Conv2D(filters=32,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.MaxPool2D(pool_size=(2,2)))
model.add(keras.layers.Dropout(0.25))
model.add(keras.layers.Conv2D(filters=64,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.Conv2D(filters=64,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.MaxPool2D(pool_size=(2,2)))
model.add(keras.layers.Dropout(0.25))
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(512,activation='relu'))
model.add(keras.layers.Dropout(0.5))
model.add(keras.layers.Dense(100,activation='softmax'))
model.compile(optimizer=tf.train.AdamOptimizer(),loss='categorical_crossentropy',metrics=["accuracy"])
#学習用データで学習してみる
model.fit(x_train[:,:,:,:],train_labels_onehot,epochs=200,batch_size=64)
#テスト画像を入力して識別
labels=model.predict(x_test[:,:,:,:])
#結果を少し見る
plt.figure(figsize=(5,5))
for i in range(25):
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
#ランダムな番号の画像を見る
index=np.random.randint(0,9999)
true_index=np.argmax(test_labels_onehot[index])#正解
predict_index=np.argmax(labels[index])#予測したインデックス
plt.imshow(x_test[index])#画像表示
plt.xlabel("{}({})".format(CIFAR100_LABELS_LIST[predict_index],CIFAR100_LABELS_LIST[true_index]),color=("green" if predict_index==true_index else "red"))#"予測したラベル（正解のラベル）"で表示．正解なら緑，間違っていれば赤で表示
#時間計測終了
process_time = time.time() - start
#実行時間を表示
print(process_time)
plt.show()
結果は後で書くとして，結構時間がかかります．
それでは，いよいよPlaidMLを導入します．初めに言っておくと，PlaidMLを導入して，本当にプログラムのバックエンドをPlaidMLにするためには，後述のように，ほんの少しプログラムの修正が必要です．導入後に上記ソースを実行してもそれまでのようにCPUで実行されます．
①PlaidMLをインストールします．私の場合，OSにPython2.xがインストールされていて，Python3.xを起動するコマンドが"python3"なので，"pip"も"pip3"になっています．"python"でPython3.xが起動する環境では"pip"になります．
pip3 install plaidml-keras plaidbench
②下記コマンドを実行します．何故かこの手順を省略している記事をよく見かけますが，このコマンドを実行しないと次の手順に進めません．
export PLAIDML_NATIVE_PATH=/usr/local/lib/libplaidml.dylib
export RUNFILES_DIR=/usr/local/share/plaidml
③下記コマンドを実行して，PlaidMLの環境を設定します．
CUIで色々質問して来ます．まず，外部の計算デバイスを使うかどうか聞かれます．勿論yesです．
PlaidML Setup (0.6.4)
Thanks for using PlaidML!
Some Notes:
* Bugs and other issues: https://github.com/plaidml/plaidml
* Questions: https://stackoverflow.com/questions/tagged/plaidml
* Say hello: https://groups.google.com/forum/#!forum/plaidml-dev
* PlaidML is licensed under the Apache License 2.0
Default Config Devices:
metal_amd_radeon_pro_560.0 : AMD Radeon Pro 560 (Metal)
metal_intel(r)_hd_graphics_630.0 : Intel(R) HD Graphics 630 (Metal)
Experimental Config Devices:
metal_intel(r)_hd_graphics_630.0 : Intel(R) HD Graphics 630 (Metal)
opencl_cpu.0 : Intel CPU (OpenCL)
opencl_amd_radeon_pro_560_compute_engine.0 : AMD AMD Radeon Pro 560 Compute Engine (OpenCL)
opencl_intel_hd_graphics_630.0 : Intel Inc. Intel(R) HD Graphics 630 (OpenCL)
llvm_cpu.0 : CPU (LLVM)
metal_amd_radeon_pro_560.0 : AMD Radeon Pro 560 (Metal)
Using experimental devices can cause poor performance, crashes, and other nastiness.
Enable experimental device support? (y,n)[n]:
次に，実際に計算に使うデバイスを聞かれます．ここではAMD Radeon Pro 560.0 (Metal)を選択します．
Multiple devices detected (You can override by setting PLAIDML_DEVICE_IDS).
Please choose a default device:
1 : metal_intel(r)_hd_graphics_630.0
2 : opencl_cpu.0
3 : opencl_amd_radeon_pro_560_compute_engine.0
4 : opencl_intel_hd_graphics_630.0
5 : llvm_cpu.0
6 : metal_amd_radeon_pro_560.0
Default device? (1,2,3,4,5,6)[1]:
試しに行列の計算をしてみて，成功すると，/Users/user/.plaidmlに設定を保存するか聞かれます．yesを選択します．
Selected device:
metal_amd_radeon_pro_560.0
Almost done. Multiplying some matrices...
Tile code:
function (B[X,Z], C[Z,Y]) -> (A) { A[x,y : X,Y] = +(B[x,z] * C[z,y]); }
Whew. That worked.
Save settings to /Users/user/.plaidml? (y,n)[y]:y
Success!
"Success!"と出たら成功です．
これで，PlaidMLの導入は終了です．
いよいよ先述のプログラムをPlaidML用に修正して，実行してみます．
ソースの最初に
import plaidml.keras
plaidml.keras.install_backend()
を追加します．その辺の部分以外は全く同じです．
import plaidml.keras
plaidml.keras.install_backend()
import numpy as np
import matplotlib.pyplot as plt
import time
import keras
from keras.optimizers import adam
#時間計測開始
start = time.time()
#CIFAR100のラベル名
CIFAR100_LABELS_LIST = [
'apple', 'aquarium_fish', 'baby', 'bear', 'beaver', 'bed', 'bee', 'beetle',
'bicycle', 'bottle', 'bowl', 'boy', 'bridge', 'bus', 'butterfly', 'camel',
'can', 'castle', 'caterpillar', 'cattle', 'chair', 'chimpanzee', 'clock',
'cloud', 'cockroach', 'couch', 'crab', 'crocodile', 'cup', 'dinosaur',
'dolphin', 'elephant', 'flatfish', 'forest', 'fox', 'girl', 'hamster',
'house', 'kangaroo', 'keyboard', 'lamp', 'lawn_mower', 'leopard', 'lion',
'lizard', 'lobster', 'man', 'maple_tree', 'motorcycle', 'mountain', 'mouse',
'mushroom', 'oak_tree', 'orange', 'orchid', 'otter', 'palm_tree', 'pear',
'pickup_truck', 'pine_tree', 'plain', 'plate', 'poppy', 'porcupine',
'possum', 'rabbit', 'raccoon', 'ray', 'road', 'rocket', 'rose',
'sea', 'seal', 'shark', 'shrew', 'skunk', 'skyscraper', 'snail', 'snake',
'spider', 'squirrel', 'streetcar', 'sunflower', 'sweet_pepper', 'table',
'tank', 'telephone', 'television', 'tiger', 'tractor', 'train', 'trout',
'tulip', 'turtle', 'wardrobe', 'whale', 'willow_tree', 'wolf', 'woman',
'worm'
]
#CIFAR-100 datasetの読み込み
(x_train, y_train), (x_test, y_test) = keras.datasets.cifar100.load_data(label_mode='fine')
train_labels_onehot=keras.utils.to_categorical(y_train,100)
test_labels_onehot=keras.utils.to_categorical(y_test,100)
#画像をfloat32(0.~1.)に変換
x_train=x_train.astype("float32")/255.0
x_test=x_test.astype("float32")/255.0
print(x_train.shape)
print(y_train.shape)
print(x_test.shape)
print(y_test.shape)
#学習画像を少し見てみる
plt.figure(figsize=(5,5))
for i in range(25):
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
plt.imshow(x_train[i+25])
plt.xlabel(CIFAR100_LABELS_LIST[int(y_train[i+25])])
#ネットワーク作成
model=keras.Sequential()
model.add(keras.layers.Conv2D(filters=32,kernel_size=(3,3),padding='same',activation='relu',input_shape=(32,32,3)))
model.add(keras.layers.Conv2D(filters=32,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.MaxPool2D(pool_size=(2,2)))
model.add(keras.layers.Dropout(0.25))
model.add(keras.layers.Conv2D(filters=64,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.Conv2D(filters=64,kernel_size=(3,3),padding='same',activation='relu'))
model.add(keras.layers.MaxPool2D(pool_size=(2,2)))
model.add(keras.layers.Dropout(0.25))
model.add(keras.layers.Flatten())
model.add(keras.layers.Dense(512,activation='relu'))
model.add(keras.layers.Dropout(0.5))
model.add(keras.layers.Dense(100,activation='softmax'))
model.compile(optimizer=adam(lr=0.001,decay=1e-6),loss='categorical_crossentropy',metrics=["accuracy"])
#学習用データで学習してみる
model.fit(x_train[:,:,:,:],train_labels_onehot,epochs=200,batch_size=64)
#テスト画像を入力して識別
labels=model.predict(x_test[:,:,:,:])
#結果を少し見る
plt.figure(figsize=(5,5))
for i in range(25):
plt.subplot(5,5,i+1)
plt.xticks([])
plt.yticks([])
#ランダムな番号の画像を見る
index=np.random.randint(0,9999)
true_index=np.argmax(test_labels_onehot[index])#正解
predict_index=np.argmax(labels[index])#予測したインデックス
plt.imshow(x_test[index])#画像表示
plt.xlabel("{}({})".format(CIFAR100_LABELS_LIST[predict_index],CIFAR100_LABELS_LIST[true_index]),color=("green" if predict_index==true_index else "red"))#"予測したラベル（正解のラベル）"で表示．正解なら緑，間違っていれば赤で表示
#時間計測終了
process_time = time.time() - start
#実行時間を表示
print(process_time)
plt.show()
MacBook ProのCPUとRadeon Pro 560，そしてGoogle ColabratoryのGPUで実行時間を比較しました．
CPU: 30950.88秒（8.59時間）
Radeon Pro 560 (Metal): 23190.82秒（6.44時間）
Google Colaboratory: 2580.95秒（43分）
Radeon Proも少しは速くなっていますが，そんなに速くなっていないですね．（MetalではなくOpenCLの方も試してみましたが，寧ろCPUの方が速いくらいでした）Google Colaboratoryだけ桁が違いますねえ．やはりGoogle Colaboratoryは素晴らしいサービスです．焼肉屋に行ったらテザリングでインターネットに繋いだら良いじゃないですか．Google Colaboratoryを積極的に使っていきましょう．
