一、工作環境介紹
我們主要進行遠端研究,這讓我們能夠在各自適合的環境中靈活安排時間進行研究。然而,為了增進影像處理實驗的效率,教授特別提供了實驗室中的高性能電腦,供我們輪流使用。實驗室中的電腦配置了 NVIDIA GeForce RTX 3060 顯示卡,這款顯示卡以相當強大的計算能力和高效能的圖形處理能力,適合用於我們的影像處理和深度學習相關實驗。
圖 1 : 遠端工作示意圖
二、工作詳述
我們主要在研究如何將 CURE-TSR(Challenging Unreal and Real Environments for Traffic Sign Recognition) 資料集中不同圖片損壞狀況、嚴重等級,如過度曝光、霧、編碼錯誤、高斯模糊等12種損壞狀況,辨識14種類型號誌。
圖 2 : CURE-TSR 資料集中,12種損壞情況
圖 3:CURE-TSR 資料集中,14種號誌類型
三、實習期間完成之進度
自研究開始至2024年11月,我們完成之進度如下介紹
(1) 論文研究 :
-
前期 : 透過論文篩選主題
-
中期 : 確認主題,並詳細研究論文中可用的模型
-
後期 : 建立完可用實驗環境,再查找論文中有效數據,進行分析及研究
圖 4:除雨實驗模型測試
(2) 確定實驗主題 :
透過前面所述的論文研究,跟教授討論過後,最終確立具可行的主題。
(3) 除雨實驗模型測試 :
使用論文中提供的模型進行測試,去除雨天圖像中的雨滴,評估模型的性能和效果。
(4) 除霧實驗模型建構 :
在實驗室本機建立論文所提供的模型。
圖 5:除霧實驗模型測試
(5) 除霧實驗模型訓練 :
訓練除霧模型,使用CURE-TSR資料集以及論文所使用的真實世界的霧霾圖像數據集進行交叉訓練,藉由調整epoch次數、參數以及圖片張數等,觀察調整後的模型性能表現。
(6) 除霧模型測試成果分析 :
將訓練完成後的測試圖進行 HSI 分析,以數據為輔助驗證評估不同epoch次數、參數的改變以及圖片張數的不同等調整對於模型除霧效果的好壞。
(7) 分類模型訓練 :
先使用 CURE-TSR 資料集中部分資料集進行訓練以快速比較結果,過程中藉由調整epoch 等眾多種參數之調整,也透過更改原始圖片狀態如引入 Cycle-SNSPGAN 輸出圖片、HSV處理等方式,觀察模型表現並且進行分析,尋求最好的狀態。
四、工作當中扮演的角色
進入實驗室的初期階段,我們的主要任務是進行論文的閱讀。論文閱讀是每位專題生必須掌握的基本技能,它有助於我們了解相關領域的最新研究進展和技術應用。這一過程類似於讀書會的形式,我們每周至少會開一次會議,平日也會分享目前所做的內容並動態調整,每個成員各自閱讀指定的論文,並詳細記錄筆記和知識點,最終將所有信息彙總成報告簡報進行分享和討論。
圖 6:閱讀論⽂後的筆記
我們的工作團隊以每人主負責不同主題:如除霧模型、分類模型等。在正式開始實驗工作之前,我們共同學習如何架設實驗環境,這也是身為資訊系群學生必須具備的基礎技能。實驗組的主要任務是對模型進行訓練,並根據實驗需求調整各類參數,例如:epoch、圖片數量等。在完成模型訓練後會生成大量數據和成果圖,這些結果將進行進一步的數據分析和深度研究,增進研究的效果。
分析工作重點是對實驗所得到的數據進行詳細分析,並識別出有價值的研究結果。同時,分析組還需要查閱其他相關論文,從中獲取更多方向指標的分析方法和數據,以完善研究工作。在此過程中,我們使用 Python撰寫大量的自動化處理腳本,以處理大量原始資料或將其進行整理。