fastai Ver2でImage Classification(2)

 Image Classification(1)では、シンプルに行いましたが精度としては今の時代では全く話にならない結果となりました。

その理由としてRsizeやNormalizeをしていない事を指摘しました。最もとNormalizeは初期値でTrue=`実施`となっているようなのでNormalizeは影響しないかな(?)

そこで

1.前回にRsizeを加えて精度の変化を確認する。

2.DataBlock APIを使う。DataBlockを使うことで細やかなカスタム設定が出来るのでしょうが、勉強不足なので見様見真似で行ってみます。

▼Rsizeを加えたtraining

変更点は1つだけ

dls = ImageDataLoaders.from_folder(path, valid_pct=0.2, bs=16)  

を

dls = ImageDataLoaders.from_folder(path, valid_pct=0.2, item_tfms=Resize(224), bs=16)

にするだけです。  その結果、精度は格段に良くなりました。

epoch	train_loss	valid_loss	error_rate	time
0	0.476859	0.296681	0.102667	04:15

epoch	train_loss	valid_loss	error_rate	time
0	0.351889	0.245188	0.082250	05:51
1	0.254830	0.196616	0.064667	05:52
2	0.157353	0.153842	0.051917	05:53
3	0.056529	0.138528	0.040583	05:50
4	0.024574	0.130548	0.037500	05:49

▼DataBlock APIを使ったtraining

おそらく、DataBlock APIを使ってのプログラミングで中級者、上級者への要望にも答えられるようになったのが今回のVer2の大きな変更点の1つだと思います。

ただ、fast.aiの「deep learningをごく一部の研究者ではなく、広くみんなが使えるように」の基本精神は変わることなく敷居の低いプラットフォームであってほしいと思います。

DataBlock APIを使った全プログラムを載せておきます。細かく説明できるほど理解していないので説明は改めてさせてください。

#fast.aiのインストール
! [ -e /content ] && pip install -Uqq fastai  # upgrade fastai on colab

from fastai.vision.all import *

#データセットのダウンロードと解凍
path = untar_data(URLs.CIFAR)

#DataBlockAPIの設定
cifar10 = DataBlock(
    blocks=(ImageBlock, CategoryBlock), 
    get_items=get_image_files, 
    splitter=RandomSplitter(valid_pct=0.2, seed=42),
    batch_tfms=aug_transforms(),
    get_y=parent_label,
    item_tfms=RandomResizedCrop(224, min_scale=0.5))

#DataLoadeの作成
dls = cifar10.dataloaders(path)

#Learnerの作成
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fine_tune(5)

コアとなる部分はたったこれだけです。 そしてそのtrainingの結果は、

epoch	train_loss	valid_loss	error_rate	time
0	0.800415	0.460656	0.154917	03:53

epoch	train_loss	valid_loss	error_rate	time
0	0.402277	0.232708	0.080167	05:11
1	0.342322	0.186619	0.063000	05:11
2	0.248306	0.148017	0.048917	05:11
3	0.174368	0.114204	0.038833	05:11
4	0.116583	0.104899	0.036333	05:12

1のResizeを行った場合と同じようなまずまずの結果が得られました。

これから少しづづfast.ai ver2も勉強していきたいと思います。

fastai Ver2でImage Classification(1)

しばらくお休みしている間にfast.aiもバージョン2となり、今まで通り初心者はバカチョンで、中級者や上級者はそれなりにキメ細かく出来るようになったみたいです。

Ver2になると今まで使っていたプログラムもおそらく動かなくなるでしょう。また、プログラムの実行環境はGoogle Colaboratoryがイチ推しのようです。そこでチュートリアルを参考にCIFAR10を使ってImage Classificationを行ってみます。

まずは、fast.aiをインストール

! [ -e /content ] && pip install -Uqq fastai  # upgrade fastai on colab

from fastai.vision.all import *

▼データセットのダウンロード・解凍

fast.aiに組込まれているCIRA10のデータセットをダウンロード・解凍する。

path = untar_data(URLs.CIFAR)

内容の確認

path.ls()

(#3) [Path('/root/.fastai/data/cifar10/train'),Path('/root/.fastai/data/cifar10/test'),Path('/root/.fastai/data/cifar10/labels.txt')]

 ダウンロードしたdatasetにはtest,trainのフォルダーとladel.txtIがあるようです。 

 trainの中は、truck、airplain、cat・・・とクラスごとに分かれているようです。

(path/"train").ls()

(#10) [Path('/root/.fastai/data/cifar10/train/truck'),Path('/root/.fastai/data/cifar10/train/airplane'),Path('/root/.fastai/data/cifar10/train/cat'),Path('/root/.fastai/data/cifar10/train/deer'),Path('/root/.fastai/data/cifar10/train/horse'),Path('/root/.fastai/data/cifar10/train/automobile'),Path('/root/.fastai/data/cifar10/train/dog'),Path('/root/.fastai/data/cifar10/train/frog'),Path('/root/.fastai/data/cifar10/train/ship'),Path('/root/.fastai/data/cifar10/train/bird')]

全部で幾つに分かれているのでしょうか?(当然10クラスということは判っていますが(^^))

len((path/"train").ls())

10

クラスのクラス名を取得します。

for i in range(len((path/"train").ls())):
  fname = (path/"train").ls()[i]
  print(fname.name)

truck 

airplane 

cat 

deer 

horse 

automobile 

dog 

frog 

ship 

bird

モデル用にデータを準備するには、データをDataLoadersオブジェクトに配置する必要があります。 ここにフォルダー名を使用してラベルを付ける関数があるので、ImageDataLoaders.from_folderを使用します。

問題に適したImageDataLoaderのfactory methodsは他にもあるので、vision.dataでそれらすべてを確認してください。

dls = ImageDataLoaders.from_folder(path, valid_pct=0.2)

pathを使っているので、trainとtestフォルダーの合計6000個のimageを使うことになる。 もしtrain内のimageのみで行うのであればpath_d = path/"train" とする必要がある。 幾つかを確認する。

dls.valid_ds.items[:4]

[Path('/root/.fastai/data/cifar10/train/ship/40435_ship.png'), Path('/root/.fastai/data/cifar10/train/horse/40005_horse.png'), Path('/root/.fastai/data/cifar10/train/frog/31706_frog.png'), Path('/root/.fastai/data/cifar10/train/ship/38138_ship.png')]

show_batchメソッドを呼び出すことにより、これらの画像を確認できます。

dls.valid.show_batch(max_n=4, nrows=1)

モデルトレーニングに適した形式でデータを組み立てたので、次はそれを使用して画像分類器をトレーニングしましょう。

▼Learnerの作成

転移学習を使用して、事前にトレーニングされたモデルをわずか2行のコードでfine tuneします。

learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fine_tune(5)

epoch	train_loss	valid_loss	error_rate	time
0	1.717618	1.498260	0.518583	03:09

epoch	train_loss	valid_loss	error_rate	time
0	1.080185	0.864427	0.290333	03:40
1	0.848960	0.694656	0.225250	03:40
2	0.639885	0.592937	0.197833	03:41
3	0.450917	0.514066	0.177917	03:38
4	0.378765	0.500458	0.172167	03:34

▼training結果の分析

traningの結果を分析するのに、ClassificationInterpretationクラスを使用します。from_learnerメソッドを使って、次のように作成します。

interp = ClassificationInterpretation.from_learner(learn)

confusion_matrix

confusion_matrixを使ってtrainingの全体像を俯瞰する事ができます。

interp.plot_confusion_matrix(figsize=(12,12), dpi=60)

縦軸のクラス名の画像を予測すると、横軸のクラス名の通りになったということです。 例えばairplaneの1184枚の画像を予測すると、1047枚は正解のairplaneに9枚はautomobile、36枚はbirdと判別されたということです。 

損失関数でみた損失上位の画像をplotすることが出来ます。

interp.plot_top_losses(16, figsize=(15,11))

画像の上の4つの項目はそれぞれ、予測、実際、損失、実際のクラスの確率を示しています。

▼検証データのクラス毎のaccuracy

import numpy as np

res_corr=interp.confusion_matrix()

#classの数
class_num=dls.c

#class毎のデータ総数
class_sum=np.sum(res_corr, axis=1)

for i in range(class_num):
    #print(data.classes[i],'：',res_corr[i,i]/class_sum[i])
    print(interp.vocab[i],'：','{:.4f}'.format(res_corr[i,i]/class_sum[i]))

airplane ： 0.8843 automobile ： 0.8847 bird ： 0.7886 cat ： 0.6706 deer ： 0.7851 dog ： 0.6906 frog ： 0.8956 horse ： 0.8709 ship ： 0.9161 truck ： 0.8863

▼おわりに

・一番シンプルな型で行いました。DataLoadersオブジェクトを作るとき、前回2020/5/9の投稿時のように、RsizeやNormalizeなどを全く行っていません。

そのため、精度も期待したほどではなく、悪い結果となっています。

・DataLoadersオブジェクトを作るとき、trainとtestの両方のデータ60000個を使ってしまったので、trainデータだけにすればよかった。

次はRsizeやNormalizeを加えて、精度を上げたいと思います。

Google Code-Prettifyでシンタックスハイライトを実装する(Bloggerにソースコードを見栄えよく載せる)

プライベートで色々とあり、投稿が滞ってしまいました。これからもボチボチと投稿します。 

私もBloggerにソースコードを載せの機会が多いのですが、今までコードをベタ書きしていて、他の方のように見栄えが良くありませんでした。

そこで軽量で簡単に導入できるらしいGoogle Code-Prettifyを使ってみました。Google Code-Prettifyの解説・設定方法は既に多くの方がブログで紹介されているので、私が苦労したところをメモしておきます。

Google Code-Prettifyの設定は簡単で、BloggerのHTMLの<head>部分に

<script src='https://cdn.rawgit.com/google/code-prettify/master/loader/run_prettify.js?skin=sons-of-obsidian'/>

を追加するだけですが、そのHTMLの編集が何処で行えるのか探すのに苦労したのでメモしておきます。

【手順】

1.ブログメニューのテーマを開く

2.カスタマイズ右の▼プルダウンメニューを開きHTMLを編集を開くと、HTMLが表示されるので<head>の下に、上記スクリプトを追加する。

3.後は投稿編集画面でソースコードを載せたい場面で、HTMLモードで

<pre class="prettyprint">

</pre>

の間にソースコードを書き加えればOK