Image classifier
Overview
Image classifierの概要
Image classifierは、画像ファイル全体の情報に基づいて画像を分類します。
例えば、画像を分裂細胞を含むもの(Dividing cells)とその他(Others)に分類することができます。
さらに、Image classifierを用いて分類用のモデルを生成できれば、自動撮影機能つきの顕微鏡でスライドガラス上のサンプルを連続撮影して、それらから目的の細胞を含む画像だけをそのモデルとRectLabelおよびCutSotrを用いて選抜できます。
Annotations for Learning
学習のためのアノテーション
Image classifierのためのアノテーションは、簡単です。jpegかPNGフォーマットの画像を分けたい分類(class)名のついたフォルダーに別々に保存してください。
Learning
学習
(1) X-codeを起動して“X-code”のプルダウンメニューから、“Open Developer Tool”内にある“Create ML”を選択してください。
(2) “New Document”ボタンをクリックしてください。
(3) “Image Classifier”を選び、“Next”ボタンをクリックしてください。
(4) “Project Name”を入力し、“Next”ボタンをクリックしてください。
(5) project fileを作成するために“Create”ボタンをクリックしてください。
(6) “Choose”をプルダウンして、「学習のためのアノテーション」で準備した学習用の画像をクラスごとに保存したフォルダーを選択してください。
うまく読み込みができるとアイテム数とクラス数が表示されます。
オプション:
Augment Dataにチェックを入れることにより、加工した画像を生成し、学習に利用します。チェックしたエフェクトを加えた画像を生成し、そのセットを加えた学習を行うので、おおよそ、「チェックなしの計算時間 x （チェックの数+1回分）」の 計算時間がかかります。エフェクトの効果は学習に使用する画像に依存しますが、染色体画像の場合は、あまり効果的ではありませんでした。ですので、「試してみて、効果があれば使用する」程度の機能です。
(7) “Train” ボタンをクリックして学習を開始します。
すぐに学習が始まり、多くの場合は短時間（数秒から数分）で終わります。
In the ver 3
Create ML ver 3では、学習が十分と判断された時は、開始時に自動的に選ばれた”Iterations”の数より少ない反復数で終了します。生成されたモデルの判定精度は、染色体画像に関しては、Create ML ver 1で生成されたモデルのものと同程度でした。
(8) 生成されたモデルを保存するには、“output” の下に表示されているファイルアイコンを保存したい場所にドラッグします。
Annotation by AI
AIによるアノテーション
RectLabelを起動し、“Open folder”ボタンをクリックしてください。開いたウインドウ内の“Change”ボタンをクリックして、アノテーションする画像の入っているフォルダとアノテーションを保存するフォルダを選んでください。
(2) “Core ML”をプルダウンして、“Load Core ML model”を選択してください。
(3) “Core ML”をプルダウンして、アノテーションするために“Process all images using Core ML”を選んでください。
(4) アノテーションが終了すると、画像全体のアノテーションが右のウインドウに表示されます。 矢印キーの右を押すと次の画像にスクロールできます。
File Sorting
Image classifierモデルを用いてアノテーションされたファイルの仕分け
(1) ダウンロードされたCutSort-mainフォルダから“CutSort.app”右クリックによりウインドウを表示し、続いて“Open”を選択し、開いたウインドウの“Open”ボタンをクリックしてください。
(2) “File Sorter”ボタンをクリックして、“Image classification”を選択してください。
(3) RectLabelによって出力された画像と.xmlファイルを含むフォルダーを“Input directory”ボタンをクリックして選択してください。続いて、出力先のフォルダーを“Output directory”ボタンをクリックして指定してください。最後に“Run”ボタンをクリックすると画像が仕分けられます。
(4) 結果として、指定された出力フォルダにはクラスごとのフォルダが生成され、そのクラスに属する画像と.xmlファイルがクラスフォルダに格納されます。ファイル仕分けに関する情報が記載された“object_list.csv”ファイルも同時に生成されます。
Models
モデル
シェアされているImage classifier用のモデルです。
ダウンロードして、自動検出に、ご利用ください。
さらに、みなさんの作成したモデルもご提供いただければ、順次こちらからダウンロードできる様にします。
Machine learning is
Power for the people, by the people, of the people!
1. 細胞、染色体、四分子の顕微鏡画像の検出モデル
報告された論文
Kiyotaka Nagaki, Tomoyuki Furuta, Naoki Yamaji, Daichi Kuniyoshi, Megumi Ishihara, Yuji Kishima, Minoru Murata, Atsushi Hoshino and Hirotomo Takatsuka. Effectiveness of Create ML in microscopy image classifications: A simple and inexpensive deep learning pipeline for non-data scientists. Chromosome Research in press, 2021.
DOI：https://doi.org/10.1007/s10577-021-09676-z
Mix-60_IC.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 各５枚）と４種由来の分裂細胞を含まない画像（Others: 各15枚）を元に、オプションなしで生成したImage classifier用のモデル。
Mix-60_IC+op.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 各５枚）と４種由来の分裂細胞を含まない画像（Others: 各15枚）を元に、オプションありで生成したImage classifier用のモデル。
Mix-120_IC.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 各10枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションなしで生成したImage classifier用のモデル。
Mix-120_IC+op.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 各10枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションありで生成したImage classifier用のモデル。
Mix-767_IC.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 全767枚）と４種由来の分裂細胞を含まない画像（Others: 全232枚）を元に、オプションなしで生成したImage classifier用のモデル。
Mix-767_IC+op.mlmodel
12種由来の分裂細胞を含む画像（Chromosomes: 全767枚）と４種由来の分裂細胞を含まない画像（Others: 全232枚）を元に、オプションありで生成したImage classifier用のモデル。
Nt-120_IC.mlmodel
タバコの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションなしで生成したImage classifier用のモデル。
Nt-120_IC+op.mlmodel
タバコの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションありで生成したImage classifier用のモデル。
BY-2-120_IC.mlmodel
BY-2の分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションなしで生成したImage classifier用のモデル。
BY-2-120_IC+op.mlmodel
BY-2の分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションありで生成したImage classifier用のモデル。
Ha-120_IC.mlmodel
ヒマワリの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションなしで生成したImage classifier用のモデル。
Ha-120_IC+op.mlmodel
ヒマワリの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）を元に、オプションありで生成したImage classifier用のモデル。
Annotated Images for Learning
学習用アノテーション済み画像ファイル
モデル生成に使った学習用アノテーション済み画像ファイルです。
圧縮ファイルを解凍して生成されたフォルダをそのままCreate MLで読み込めますので、システムの動作確認や練習にご利用ください。
また、これらの画像に違うアノテーションをつければ、転移学習用にも使用可能です。
加えて、これらの画像にご自身で用意した画像を付け加えて学習することにより、少量の画像をご自身で用意するだけで、ご自身で用意した画像だけで学習するよりも高精度のモデルを作ることも可能です。
さらに、みなさんの作成した学習用アノテーション済み画像データもご提供いただければ、順次こちらからダウンロードできる様にします。
Machine learning is
Power for the people, by the people, of the people!
1. 細胞、染色体の顕微鏡画像
これらの画像が使用された論文
Kiyotaka Nagaki, Tomoyuki Furuta, Naoki Yamaji, Daichi Kuniyoshi, Megumi Ishihara, Yuji Kishima, Minoru Murata, Atsushi Hoshino and Hirotomo Takatsuka. Effectiveness of Create ML in microscopy image classifications: A simple and inexpensive deep learning pipeline for non-data scientists. Chromosome Research in press, 2021. DOI：https://doi.org/10.1007/s10577-021-09676-z
IC_Mix-60.zip
Image classifier用の12種由来の分裂細胞を含む画像（Chromosomes: 各５枚）と４種由来の分裂細胞を含まない画像（Others: 各15枚）。
IC_Mix-120.zip
Image classifier用の12種由来の分裂細胞を含む画像（Chromosomes: 各10枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）。
IC_Mix-767.zip
Image classifier用の12種由来の分裂細胞を含む画像（Chromosomes: 全767枚）と４種由来の分裂細胞を含まない画像（Others: 全232枚）。
IC_Nt-120.zip
Image classifier用のタバコの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）。
IC_BY-2.zip
Image classifier用のBY-2の分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）。
IC_Ha-120.zip
Image classifier用のヒマワリの分裂細胞を含む画像（Chromosomes: 全120枚）と４種由来の分裂細胞を含まない画像（Others: 各30枚）。