使用生成對抗模型創(chuàng)建基于田間的玉米穗數據方法TasselGAN簡介

Plant Phenomics | TasselGAN：一種使用生成對抗模型創(chuàng)建基于田間的玉米穗數據的方法

基于田間的植物表型分析是在植物的整個生長周期和自然生長環(huán)境中研究所需植物性狀的過程。對所需性狀的觀察會使用多種傳感器（如相機等）來進行，并且需要處理的數據量可能會非常大。多種成像技術和機器學習算法的出現，已使基于圖像的高通量表型分析算法得以發(fā)展。然而，不受控的環(huán)境變量給此類方法帶來了巨大的挑戰(zhàn)。

根據國際植物表型組織進行的植物表型調查，結果顯示對田間高通量表型系統(tǒng)的需求有所增加，且對這類系統(tǒng)感興趣的主要是那些關于小麥和玉米的研究。玉米作為一種高產作物，為了研究如何提高產量及產量相關性狀，人們已進行了大量的表型鑒定。穗（玉米的雄花）結構是玉米植株的重要特征之一，在授粉過程中發(fā)揮著重要的作用。但是，可用于高通量機器學習表型分析的數據集仍存在局限性，不是基于實驗室環(huán)境就是缺少細節(jié)化的玉米穗信息。由于機器學習算法的優(yōu)良性能依賴于一個全面的訓練數據集，因此上述的數據集局限性是一個值得思考的問題。

為了解決訓練數據有限的問題，一些數據增強技術和其他方法（如弱監(jiān)督和基于主動學習的算法）已得到了使用。對于增加圖像數據，目前常用的方法是采用傳統(tǒng)數據增強技術（如幾何變換、改變顏色和亮度等），然而這些方法可能只能夠使得訓練數據樣本產生很有限的變化。另外，使用生成式模型學習訓練數據的分布，能夠創(chuàng)建與訓練數據相似卻又前所未見的新樣本。

2020年8月，印度理工學院計算機與電子工程學院的 Snehal Shete 等在Plant Phenomics發(fā)表了題為TasselGAN: An Application of the Generative Adversarial Model for Creating Field-Based Maize Tassel Data的研究論文。該文章中，論文作者對生成式方法尤其是生成式對抗網絡(GAN)模型(Figure 1)的演變和評價進行了研究，指出生成式網絡目前已被用在許多高級的主動學習方法中。

目前，已有一些研究使用了弱監(jiān)督或者基于主動學習的方法，還進行了合成植物數據的工作，例如：在無人機拍攝的圖像中使用弱監(jiān)督方法對高粱頂端進行檢測和計數；或者使用基于條件GAN的方法，以葉片數量為條件生成擬南芥數據樣本等等。

為了進一步研究合成植物數據，并將其擴展到田間條件下更復雜的表型任務，該論文提出了TasselGAN，一種基于田間的玉米穗數據集生成方法。使用該方法生成的數據集由以天空為背景的玉米穗圖像組成，每張圖像中包含一個玉米穗。前景玉米穗和背景天空數據分別由各自的深度卷積生成式對抗網絡(DC-GAN)變體(Figure 3)進行訓練(Figure 2, Figure 5)并生成(Figure 7)，之后合并在一起形成輸出圖像(Figure 6(d))。同時，可用于分割生成數據中的玉米穗的蒙版(Figure 6(b))也會被創(chuàng)建。此外，該論文還提供了所生成數據的定量(Figure 17)和視覺質量(Figure 15, Figure 16, Table 1)評估結果。

Figure 1: Basic block diagram of the generative adversarial network (GAN).

Figure 2: Maize tassel training dataset samples.

Figure 3: Modified generator architecture for maize tassel generation.

Figure 4: Training data for sky patch generation.

Figure 5: Steps for synthetic generation of field-based maize tassel data.

Figure 6: Generation results.

Figure 7: Experimental set-up of real vs. generated image identification.

Figure 8: Examples from image similarity experiment.

Figure 9: Width vs. height scatter plot showing training and generated tassel data.

論文鏈接
https://spj.sciencemag.org/journals/plantphenomics/2020/8309605/

——推薦閱讀——

High-Throughput Measurements of Stem Characteristics to Estimate Ear Density and Above-Ground Biomass

https://spj.sciencemag.org/journals/plantphenomics/2019/4820305/

用于估計穗密度和地上生物量的莖特征高通量測量方法 | Article

An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat

https://spj.sciencemag.org/journals/plantphenomics/2019/7368761/

基于深度學習的識別田間條件下小麥的穗區(qū)域的表型分析方法 | Article

About Plant Phenomics

《植物表型組學》（Plant Phenomics）是由南京農業(yè)大學和美國科學促進會（AAAS）合作創(chuàng)辦的英文學術期刊，于2019年1月正式上線發(fā)行，是Science合作出版的第二本期刊。采用開放獲取形式，刊載植物表型組學交叉學科熱點領域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數據集和觀點。具體范圍涵蓋高通量表型分析的最新技術，基于圖像分析和機器學習的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農業(yè)實踐中的表型組學新應用，與植物表型相結合的分子生物學、植物生理學、統(tǒng)計學、作物模型和其他組學研究，表型組學相關的植物生物學等。期刊已被CABI、CNKI和DOAJ數據庫收錄。

說明：本文由《植物表型組學》編輯部負責組稿。

中文內容僅供參考，一切內容以英文原版為準。

撰稿：王棟（實習）

編輯：舒秀（實習）、孔敏

審核：尹歡