2020年5月23日土曜日

fast.aiでtransfer learningした後のデータ分析について

前回・前々回とtransfer learningを行い、結果の分析まで進みました。

そのときConfusion matrixとかあまり説明をしていなかったので、まとめてここでしておきます。


fast.aiライブラリーを使って、fit()またはfit_one_cycle()でtarningした後、その結果を色々と分析できます。しかし、その度に時間を掛けてtrainingし直していたのでは時間の無駄です。

そこでtraining後に、


learn.save('learn-model')


として、training結果を保存しておくと、次回からはそれを読み込んで作業を続けることが出来ます。

learn.save('learn-model')のlearnは、training時に作成したlearnerで、

learn = cnn_learner(data, models.resnet34, metrics=error_rate)の’=’の左側の名前です。

'learn-model'は保存する任意のファイル名で拡張子「.pth」のファイルが出来ます。

もう一つ、拡張子「.pkl」のファイルもありますが、それはまたpredictの時に・・・


保存したファイルを読み込むには、次のようにします。


learn.load('learn-model')


Interpretation(学習結果の分析)

traningの結果を分析するのに、ClassificationInterpretationクラスを使用します。from_learnerメソッドを使って、次のように作成します。


interp = ClassificationInterpretation.from_learner(learn)


Confusion matrix

confusion_matrixを使ってtrainingの全体像を俯瞰する事ができます。


interp.plot_confusion_matrix(figsize=(12,12), dpi=60)


縦軸のクラス名の画像を予測すると、横軸のクラス名の通りになったということです。

例えばairplaneの1000枚の画像を予測すると、960枚は正解のairplaneに、2枚はautomobile、4枚はbirdと判別されたということです。



Most confused categories

most_confusedは、最も頻繁に間違った予測と実際の特定の組み合わせを混同マトリックスから単純に取り出します。 

interp.most_confused(min_val=10)

min_valで間違った組み合わせの最小数を指定できます。


[('cat', 'dog', 69),

 ('dog', 'cat', 30),

 ('automobile', 'truck', 26),

 ('airplane', 'ship', 18),

 ('truck', 'automobile', 18),

 ('bird', 'frog', 16),

 ('ship', 'airplane', 15),

 ('deer', 'dog', 14),

 ('horse', 'dog', 13),

 ('bird', 'dog', 12),

 ('deer', 'horse', 12),

 ('ship', 'truck', 12),

 ('bird', 'airplane', 11),

 ('cat', 'deer', 11),

 ('frog', 'cat', 11),

 ('cat', 'frog', 10),

 ('deer', 'bird', 10),

 ('deer', 'cat', 10)]

 

Plot top losses

損失関数でみた損失上位の画像をplotすることが出来ます。

 

interp.plot_top_losses(9, figsize=(15,11))

 

画像の上の4つの項目はそれぞれ、予測、実際、損失、実際のクラスの確率を示しています。

上段真ん中の「flog/cat/11.19/0.00」の画像は、cifar10の検証クラス(val)のcatクラスにある、ファイナル名236_catの画像です。カエルの画像が間違ってネコのクラスとして分類されてしまったのですネ。
時刻: 0 件のコメント:
ラベル: ,

2020年5月9日土曜日

fast.aiのtransfer learningでcifar10の画像分類

ここまで、fast.aiでtransfer learningで訓練するときの、fit_one_cycleのパラメータの設定について見てきたので、改めてcifar10の分類を行いたいと思います。

cifar10の分類は、以前にもPytorchでプログラムするよりfast.aiを使ったらいかに簡単かを比較するために行っています。
その時はバカチョンで行いましたが、今回は少しパラメータを調整しています。
精度は上がるでしょうか?。

また細かいことですが、前回はcifar10のダウンロードデータを画像ファイルに変換したものをデータとして使用しました。
今回はcifar10のダウンロードデータをそのまま使いました。
%reload_ext autoreload
%autoreload 2
%matplotlib inline

いつもの通りおまじないですか。



from fastai.vision import *
from fastai.metrics import accuracy


Data Preparation

path = untar_data(URLs.CIFAR); path; path

PosixPath('/home/◇◇◇◇/.fastai/data/cifar10')
usr'◇◇◇◇'のルートディレクトリ下の.fastaiにデータファイルが保存されるようです。
tfms = get_transforms(do_flip=False)

data=ImageDataBunch.from_folder(path,train='train',valid='test',
　　　　　　　　　　　　　　　　　ds_tfms=tfms,size=224,bs=16)
data.normalize(imagenet_stats)


お決まりでサンプルデータを見てみます。


data.show_batch(rows=3,figsize=(5,5))



クラス名とクラス数を確認します。

print(data.classes)

['airplane', 'automobile', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck']












len(data.classes)










10











modelの作成
















import torchvision.models as models


















learn1 = cnn_learner(data, models.resnet34,metrics=accuracy,callback_fns=ShowGraph)













Learning rate finder













learn1 = cnn_learner(data, models.resnet34, metrics=accuracy, 　　



　　　　　　　　　　　　　　　　　　　　　callback_fns=ShowGraph)



learn1.unfreeze()



learn1.lr_find()



learn1.recorder.plot()



learn1.recorder.plot_lr()































training





















learn1 = cnn_learner(data, models.resnet34, metrics=accuracy, callback_fns=ShowGraph)



learn1.unfreeze()



learn1.fit_one_cycle(20, slice(1e-5,1e-4), pct_start=0.10)



learn1.recorder.plot_lr()


















epochtrain_lossvalid_lossaccuracytime



00.7447030.3545370.88540003:53


10.4695120.2016250.93060003:46


20.2702120.1669020.94400003:55


30.2221460.1478380.95060003:55


40.1590850.1423350.95350003:56


50.1002090.1386060.95770003:57


60.0843130.1377530.95790003:55


70.0745600.1395010.95870003:58


80.0459000.1314650.96380003:56


90.0416300.1349780.96170003:57


100.0367390.1335090.96390003:58


110.0422980.1280950.96630003:58


120.0186160.1288200.96710003:57


130.0126730.1294480.96590003:54


140.0180200.1327600.96720003:54


150.0116240.1252110.96900003:40


160.0045080.1204620.97000003:54


170.0090190.1189490.97030003:58


180.0069940.1191830.97070003:54


190.0081990.1162950.97100003:55





























Load pre-trained weights


















learn = learn.load("cifar-res34")















training結果の分析





















interp = ClassificationInterpretation.from_learner(learn)







losses,idxs = interp.top_losses()







len(data.valid_ds)==len(losses)==len(idxs)




























interp.plot_top_losses(16, figsize=(15,11))





















Confusion matrix














interp.plot_top_losses(16, figsize=(15,11))






















interp.confusion_matrix()












array([[973,   2,   6,   2, ...,   1,   0,  14,   0],
       [  0, 989,   0,   0, ...,   0,   0,   1,  10],
       [  7,   1, 962,   8, ...,   6,   0,   2,   0],
       [  0,   1,   6, 928, ...,   8,   4,   3,   0],
       ...,
       [  1,   0,   3,   6, ..., 983,   0,   0,   1],
       [  0,   0,   1,   4, ...,   1, 975,   0,   0],
       [  5,   0,   1,   0, ...,   0,   0, 991,   3],
       [  3,  21,   0,   1, ...,   0,   0,   6, 968]])












interp.most_confused(min_val=1)






[('cat', 'dog', 44),
 ('dog', 'cat', 37),
 ('truck', 'automobile', 21),
 ('airplane', 'ship', 14),
 ('horse', 'deer', 13),
 ('deer', 'cat', 11),
 ('automobile', 'truck', 10),
 ('dog', 'deer', 10),
 ('bird', 'deer', 9),
 ('bird', 'cat', 8),
 ('cat', 'frog', 8),
 ('bird', 'airplane', 7),
 ('airplane', 'bird', 6),
 ('bird', 'frog', 6),
 ('cat', 'bird', 6),
 ('cat', 'deer', 6),
 ('frog', 'cat', 6),
 ('horse', 'dog', 6),
 ('truck', 'ship', 6),
 ('bird', 'dog', 5),
 ('dog', 'bird', 5),
 ('frog', 'deer', 5),
 ('ship', 'airplane', 5),
 ('cat', 'horse', 4),
 ('deer', 'dog', 4),
 ('horse', 'cat', 4),
 ('cat', 'ship', 3),
 ('deer', 'horse', 3),
 ('dog', 'horse', 3),
 ('frog', 'bird', 3),
 ('ship', 'truck', 3),
 ('truck', 'airplane', 3),
 ('airplane', 'automobile', 2),
 ('airplane', 'cat', 2),
 ('bird', 'ship', 2),
 ('deer', 'frog', 2),
 ('airplane', 'deer', 1),
 ('airplane', 'dog', 1),
 ('airplane', 'frog', 1),
 ('automobile', 'ship', 1),
 ('bird', 'automobile', 1),
 ('cat', 'automobile', 1),
 ('dog', 'frog', 1),
 ('frog', 'airplane', 1),
 ('frog', 'dog', 1),
 ('frog', 'truck', 1),
 ('horse', 'bird', 1),
 ('horse', 'frog', 1),
 ('ship', 'bird', 1),
 ('truck', 'cat', 1),
 ('truck', 'deer', 1)]











検証データのクラス毎のaccuracy







import numpy as np







res_corr=interp.confusion_matrix()







#classの数



class_num=data.c







#class毎のデータ総数



class_sum=np.sum(res_corr, axis=1)







for i in range(class_num):



    print(data.classes[i],'：','{:.4f}'.format(res_corr[i,i]/class_sum[i]))










airplane ： 0.9730
automobile ： 0.9890
bird ： 0.9620
cat ： 0.9280
deer ： 0.9800
dog ： 0.9440
frog ： 0.9830
horse ： 0.9750
ship ： 0.9910
truck ： 0.9680




























時刻:





0 件のコメント:
  


















ラベル:
,

















        

      









登録:
投稿 (Atom)