img20211008112744640580.png img20211008113218732190.png

みんなの画像機械学習


機械学習による画像解析を必要とする
すべての人のための
Macをつかった簡易機械学習法


  近年、生物学分野においても自動撮影機能つき顕微鏡が身近になり、自動で大量の画像が取得可能になってきています。反面、その解析は高価な解析システムまたは人手を要することが多く、大量の画像を低コストで自動解析するシステムが必要とされています。最近、私たちは、無料または安価なアプリケーションを組み合わせて、身近にあるMacで機械学習を行い、分裂細胞を含む画像の分類や画像中の物体の検出および分類ができる方法を報告しました(Nagaki et al. 2021)。この方法を用いれば、細胞データなどに限定されることなく、個々の研究者が自身のもつ画像データーを元に機械学習したAIによる画像自動分類機または画像中の物体検出分類機が作成できます。学会等で、この方法を紹介すると、多くの研究者に「専門家に助けてもらったり、高価なシステムを使うまでのことではないが、画像の自動分類や画像中の物体の検出および分類ができるようになれば、研究の効率が上がるのだけど」といったニーズがあることがわかりましたので、本Webページにて、その方法を解説することにしました。

Machine learning is
Power for the people, by the people, of the people!

みんなの画像機械学習


機械学習による画像解析を必要とする
すべての人のための
Macをつかった簡易機械学習法


  近年、生物学分野においても自動撮影機能つき顕微鏡が身近になり、自動で大量の画像が取得可能になってきています。反面、その解析は高価な解析システムまたは人手を要することが多く、大量の画像を低コストで自動解析するシステムが必要とされています。最近、私たちは、無料または安価なアプリケーションを組み合わせて、身近にあるMacで機械学習を行い、分裂細胞を含む画像の分類や画像中の物体の検出および分類ができる方法を報告しました(Nagaki et al. 2021)。この方法を用いれば、細胞データなどに限定されることなく、個々の研究者が自身のもつ画像データーを元に機械学習したAIによる画像自動分類機または画像中の物体検出分類機が作成できます。学会等で、この方法を紹介すると多くの研究者に「専門家に助けてもらったり、高価なシステムを使うまでのことではないが、画像の自動分類や画像中の物体の検出および分類ができるようになれば、研究の効率が上がるのだけど」といったニーズがあることがわかりましたので、本Webページにて、その方法を解説することにしました。
 

Machine learning is
Power for the people, by the people, of the people!

Movie

Create MLを使った画像分類

 

Create MLを使った画像中の物体検出

Table of Contents

Overview

概要説明

 
ここでは、Macを用いた画像の機械学習のプロトコルについて説明しています。
 
このプロトコルには、「学習」、「画像ファイルの分類 (Image classifier)」および「画像中の物体検出 (Object detector)」の方法が記されています。
 
これらの方法は5つのステップに分かれています。
1. 学習のためのアノテーション
2. 学習
3. 学習したAIによるアノテーション
4. ファイルの仕分け
5. 検出された物体のカウント
 
ステップ1および2は、Image classifierとObject detectorで異なります。
ステップ3は共通ですが、ステップ4はImage classifier用のオプション、ステップ5はObject detector用のオプションです。

Protocols

Applications

本解析で使用するアプリケーション

 
macOS (Catalina以降)
Create MLのグラフィカルインターフェース(GUI)バージョンを使用するためには、Catalina (macOS 10.15)以降のmacOSがインストールされたMacが必要です。CatalinaとmacOS 11 (Big Sur)では使用できるCreate MLのバージョンが異なります。Create MLのバージョンは、version 1 (Catalina)、version 3 (Big Sur)となります。
 
Create ML in X-code(無料)
Create MLは、アップル社がソフトウエア開発者向けに無料配布している機械学習のためのアプリケーションです。Create MLは、X-codeの一部として提供されており、App storeからダウンロード可能です。最新のX-codeであるX-code ver 12は、App storeアプリケーションからダウンロードでき、Create ML ver 3を含みます。Create ML ver 1を含む古いX-code 11は、App store (https://developer.apple.com/download/more/)からダウンロード可能です。本プロトコルでは、基本的にChromosome Research (Nagaki et al. 2021 in press)で報告したCreate ML ver 1の使用法について解説し、ver 3で異なる部分について追加説明しています。
 
RectLabel(1週間無料、$2.99/month or $19.99/one-time)
RectLabel (https://rectlabel.com)は、Create MLで使用するアノテーションファイルを作成するのに便利なアプリケーションです。RectLabelは、Create MLによって生成されたモデルを使ったAIによるアノテーションにも使用できます。RectLabelは、App storeからダウンロード可能です。
 
CutSort(無料)
CutSort (https://github.com/tomoyukif/CutSort)は、RectLabelによって付加されたアノテーションに基づいて、フォルダ内の画像を仕分けするアプリケーションです。

Reference

参考文献

このページで紹介したCreate ML ver 1を用いた画像分類法で、分裂細胞や四分子を検出および分類した論文です。
 
Kiyotaka Nagaki, Tomoyuki Furuta, Naoki Yamaji, Daichi Kuniyoshi, Megumi Ishihara, Yuji Kishima, Minoru Murata, Atsushi Hoshino and Hirotomo Takatsuka. Effectiveness of Create ML in microscopy image classifications: A simple and inexpensive deep learning pipeline for non-data scientists. Chromosome Research in press, 2021. DOI:https://doi.org/10.1007/s10577-021-09676-z

Models

モデル

シェアされているモデルです。
ダウンロードして、自動検出等に、ご利用ください。
 
さらに、みなさんの作成したモデルもご提供いただければ、順次こちらからダウンロードできる様にします。
Machine learning is
Power for the people, by the people, of the people!

 
1. 細胞、染色体、四分子の顕微鏡画像の検出モデル
報告された論文
Kiyotaka Nagaki, Tomoyuki Furuta, Naoki Yamaji, Daichi Kuniyoshi, Megumi Ishihara, Yuji Kishima, Minoru Murata, Atsushi Hoshino and Hirotomo Takatsuka. Effectiveness of Create ML in microscopy image classifications: A simple and inexpensive deep learning pipeline for non-data scientists. Chromosome Research in press, 2021. DOI:https://doi.org/10.1007/s10577-021-09676-z
 
Mix-60_IC.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各5枚)と4種由来の分裂細胞を含まない画像(Others: 各15枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
Mix-60_IC+op.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各5枚)と4種由来の分裂細胞を含まない画像(Others: 各15枚)を元に、オプションありで生成したImage classifier用のモデル。
 
Mix-60_OD.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各5枚)と4種由来の分裂細胞を含まない画像(Others: 各15枚)を元に生成したObject detector用のモデル。
 
Mix-120_IC.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各10枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
Mix-120_IC+op.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各10枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションありで生成したImage classifier用のモデル。
 
Mix-120_OD.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 各10枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に生成したObject detector用のモデル。
 
Mix-767_IC.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
Mix-767_IC+op.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)を元に、オプションありで生成したImage classifier用のモデル。
 
Mix-767_OD.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)を元に生成したObject detector用のモデル。
 
Nt-120_IC.mlmodel
タバコの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
Nt-120_IC+op.mlmodel
タバコの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションありで生成したImage classifier用のモデル。
 
Nt-120_OD.mlmodel
タバコの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に生成したObject detector用のモデル。
 
BY-2-120_IC.mlmodel
BY-2の分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
BY-2-120_IC+op.mlmodel
BY-2の分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションありで生成したImage classifier用のモデル。
 
BY-2-120_OD.mlmodel
BY-2の分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に生成したObject detector用のモデル。
 
Ha-120_IC.mlmodel
ヒマワリの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションなしで生成したImage classifier用のモデル。
 
Ha-120_IC+op.mlmodel
ヒマワリの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に、オプションありで生成したImage classifier用のモデル。
 
Ha-120_OD.mlmodel
ヒマワリの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)を元に生成したObject detector用のモデル。
 
OD_Mix-767+Keyence-150.mlmodel
12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)にKeyence顕微鏡で撮影した分裂細胞を含む画像150枚を加えたデータを元に生成したObject detector用のモデル。
 
Confocal.mlmodel
ニンニクの根の共焦点顕微鏡画像中のinterphase(873個)、prophase(202個)、 metaphase(119個)、anaphase(41個)、telophase(109個)を元に生成したObject detector用のモデル。
 
Tetrads.mlmodel
イネ の四分子画像292個を元に生成したObject detector用のモデル。

Annotated Images for Learning

学習用アノテーション済み画像ファイル

モデル生成に使った学習用アノテーション済み画像ファイルです。
圧縮ファイルを解凍して生成されたフォルダをそのままCreate MLで読み込めますので、システムの動作確認や練習にご利用ください。
 
また、これらの画像に違うアノテーションをつければ、転移学習用にも使用可能です。
 
加えて、これらの画像にご自身で用意した画像を付け加えて学習することにより、少量の画像をご自身で用意するだけで、ご自身で用意した画像だけで学習するよりも高精度のモデルを作ることも可能です。
 
さらに、みなさんの作成した学習用アノテーション済み画像データもご提供いただければ、順次こちらからダウンロードできる様にします。
Machine learning is
Power for the people, by the people, of the people!

 
1. 細胞、染色体、四分子の顕微鏡画像
これらの画像が使用された論文
Kiyotaka Nagaki, Tomoyuki Furuta, Naoki Yamaji, Daichi Kuniyoshi, Megumi Ishihara, Yuji Kishima, Minoru Murata, Atsushi Hoshino and Hirotomo Takatsuka. Effectiveness of Create ML in microscopy image classifications: A simple and inexpensive deep learning pipeline for non-data scientists. Chromosome Research in press, 2021. DOI:https://doi.org/10.1007/s10577-021-09676-z
 
IC_Mix-60.zip
Image classifier用の12種由来の分裂細胞を含む画像(Chromosomes: 各5枚)と4種由来の分裂細胞を含まない画像(Others: 各15枚)。
  
OD_Mix-60.zip
Object detector用の12種由来の分裂細胞を含む画像(Chromosomes: 各5枚)と4種由来の分裂細胞を含まない画像(Others: 各15枚)とjasonファイル。
 
IC_Mix-120.zip
Image classifier用の12種由来の分裂細胞を含む画像(Chromosomes: 各10枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)。
 
OD_Mix-120.zip
Object detector用の12種由来の分裂細胞を含む画像(Chromosomes: 各10枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)とjasonファイル。
 
IC_Mix-767.zip
Image classifier用の12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)。
 
OD_Mix-767.zip
Object detector用の12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)とjsonファイル。
 
IC_Nt-120.zip
Image classifier用のタバコの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)。
 
OD_Nt-120.zip
Object detector用のタバコの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)とjsonファイル。
 
IC_BY-2.zip
Image classifier用のBY-2の分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)。
 
OD_BY-2.zip
Object detector用のBY-2の分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)とjsonファイル。
 
IC_Ha-120.zip
Image classifier用のヒマワリの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)。
 
OD_Ha-120.zip
Object detector用のヒマワリの分裂細胞を含む画像(Chromosomes: 全120枚)と4種由来の分裂細胞を含まない画像(Others: 各30枚)とjsonファイル。
 
OD_Mix-767+Keyence-150.zip
Object detector用の12種由来の分裂細胞を含む画像(Chromosomes: 全767枚)と4種由来の分裂細胞を含まない画像(Others: 全232枚)にKeyence顕微鏡で撮影した分裂細胞を含む画像150枚を加えたデータとjsonファイル。
 
Confocal.zip
Object detector用のニンニクの根の共焦点顕微鏡画像中のinterphase(873個)、prophase(202個)、 metaphase(119個)、anaphase(41個)、telophase(109個)とjsonファイル。
 
Tetrads.zip
Object detector用のイネ の四分子画像292個とjsonファイル。

PDF

このマニュアルのPDF版は、こちらからダウンロードできます。

Contact

この方法およびWebページに関するお問い合わせは、岡山大学 資源植物科学研究所 長岐清孝(nagaki@(@以下はokayama-u.ac.jp を付けてください。))までお願いします。