跳到主要內容

184測試計畫

測試計畫測試項目內容撰寫要點說明

1. 測試計畫中,每個個案並沒有詳述規格內容,僅以概述表示:

個案可能寫法如,走勢圖刻度格式與資料顯示正確。因此詳細格式與資料定義仍需看規格書。這樣寫的原因是我認為測試個案主要是列出所有測試的項目,以避免測試時漏了相關的項目,因此沒有必要弄的太複雜,且為了降低耦合性(規格格式內容可能會改),因此測試項目並不撰寫詳細格式。

2. 各測試個案基本上是以規格書最底層格式的上一層為撰寫標準:

但若部份我認為可能疏忽的細部項目會特別列出為獨立個案。

3. 測試計畫欄位建立原則:

基本上依據原測試計畫上的欄位建立,並新增五個欄位,

A. 規格書分類

因規格書規格均得轉換為相對應的測試個案,因此增加此欄位以對測試個案做分類整理,避免漏寫與規格書改版整理之用。現以規格書子標題為內容。

B. 單元測試

以每個子階段程式開發項目(WBS)為基準,衡量每個程式開發段落是否完成應以通過相關測試個案為基準。

C. 測試方法

此段加註特殊需注意的測試方法,例如需利用虛擬資料,做邊界測試,避免遮字或其他未預測的效應。

D. 測試畫面

為避免測試項目過於重複,在預劃或規格上明顯為同一類別的均以同一測試項目來表示,因此在此加註測試時應對哪些畫面一併做測試。

E. 測試時間

此項目標注哪些項目需在特殊時間點測,例如在盤前、清盤、盤中等時機。

4. 走廊(使用性)測試:

利用多人來測試介面互動邏輯是否合理的測試方式,預劃此方法會加在測試方法欄位裡,但在現在測試項目上我還沒有認為需要加上去之處;還是將此測試獨立出一測試個案,會是較好的選擇?

5. 專案結束前仍新增個案:

於程式開發與α測試時會發現可能需要測試的相關個案,因此專案結束前仍會加入相關測試個案。如同規格一樣,測試計畫一樣永遠都有未竟完美,仍得改善之處。階段的測試計畫,應不只有當時專案階段可應用,之後的專案開發應可考慮用到。

6. 相關class欄位

預劃新增一個相關class欄位,當將來維護、繼承或引用此class時可能得考慮此測試個案。現未加上去。

附註:

測試計畫改為excel格式的優點:

1. 可利用其分類整理的功能,篩出哪些個案已測試或有問題。

2. 方便新增/刪除/隱藏欄位與個案。

3. 可利用分類對應規格書面與程式開發面,避免相關規格遺漏與可在程式開發中即可運用。

缺點:

紙本格式不好設計。

1. 以上是我設計新的單元測試計畫格式理念,如有部份認知與觀念是錯的,請標注讓我知道,謝謝。

2. 以上456項是尚未加進此項測試計畫格式的項目。

3. 檔案中並沒有ETF測試個案,其納入進個股報價與走勢測試,於測試畫面有標注需測試ETF畫面(也就是說測試個股走勢與個股報價時應一併測試ETF)。

4. 單元測試欄位僅填入港股主選單與Menu設定,餘未填入。

5. 終極想法測試計畫應該變成一個測試個案資料庫,當以後有要維護相關功能或進行先前設計規劃評估都可以撈測試個案出來參考。

留言

這個網誌中的熱門文章

解決 CI Trust Issue:Target Must Be Enabled Before It Can Be Used

📱 iOS開發 | 🔧 CI/CD | 💻 Xcode | 🐛 除錯筆記 🔴 問題描述 這兩天在跑 CI 時突然出現錯誤訊息: Package@swift-6.0.swift:PACKAGE-TARGET:CasePathsMacros: error: Target 'CasePathsMacros' must be enabled before it can be used 🤔 嘗試過的解法 💬 Claude 的建議 首先詢問了 Claude,得到以下步驟: 先更新 swift-case-paths 到最新版本 確保使用 "Up to Next Major Version" 執行 File → Packages → Reset Package Caches Clean Build Folder (Cmd + Shift + K) 重新 Build 結果: 一看就知道沒用 😅 🤖 ChatGPT 的建議 接著試了 ChatGPT 的解法,主要是降低引用到的 package 版本。繞了一圈,還是沒用。 ✅ 最終解決方案 最後還是回到 Google,找到了真正有效的解法。針對這個 macro fingerprint validation 問題,有三種解決方式: 📌 方法一:本機開發用(Terminal 指令) defaults write com.apple.dt.Xcode IDESkipMacroFingerprintValidation -bool YES 📌 方法二:xcodebuild 參數 在執行 xcodebuild 指令時,加上 -skipMacroValidation 參數 📚 參考連結: https://vocus.cc/article/690779ebfd89780001859b14 📌 方法三:CI 正統做法 ⭐️(推薦) 步驟 1: 在專案根目錄建立資料夾 ci_scripts 步驟 2: 在此資料夾中建立腳本 ci_post_clone.sh ,內容如下: #!/bin/zsh mkdir -p ~/Library/org.swift.swiftpm/security/ cp macros.js...

用 AI Debug 的迷思:當建議越改越糟時

現在許多開發者習慣用 AI 來協助 debug,但在實務上常遇到一種情況: 依照 AI 建議改了兩三輪後,錯誤仍然存在,甚至越改越複雜。 這種狀況其實有幾個常見的盲點,值得特別注意。 1. 先回到「上一個正常版本」 當你已經按照 AI 的方向修了好幾次但問題仍未解決時,最有效的第一步是: 回到上一個正常工作的版本,縮小問題來源。 許多 bug 並不是你正在看的那段程式碼造成的,而可能是: 同事剛好修改了某個底層模組 某個 shared component 產生 side effect Auto Layout 層級重新 layout 時觸發 crash 如果只是盯著眼前的 function 修,反而容易被誤導。 2. AI 沒有看到你的整個專案 AI 通常只能根據你貼出的片段判斷問題,這代表它不知道: 你的 view hierarchy 裡是否有其他 constraint 影響 layout 某些 model 是否被 extension 修改過 父層或子層邏輯是否干擾目前的行為 整個專案採用的 concurrency 模型是什麼 因此,AI 可能會朝著完全錯誤的方向修,導致反覆修改卻無法解決。 3. Swift 6 例子:錯誤真正原因常不在你修改的那一行 例如開發者常遇到的錯誤: passing closure as a 'sending' parameter risks causing data races 許多人(包含 AI)會開始從 function 內部調整,但這類錯誤真正的關鍵通常是: 傳進去的物件沒有實作 Sendable。 也就是說,你不是要改 function,而是要回頭檢查: 傳入的 model / struct / class 裡面是否有 non-Sendable 成員 是否需要標註 @unchecked Sendable 如果 AI 沒看到相關檔案,自然很難找到正確方向。 結語:AI 是工具,不是預言機 AI 很適合用來: 解釋概念 協助產生測試程式 提供重構建議 釐清你已懷疑的方向 但在 debug 狀況下,以下三件事更重要: 回到上一版,縮小差異範圍。 釐清真正問題來...

借助 AI 除錯:解決登出時的解密錯誤

  前言 最近遇到一個有趣的 bug,趁這次機會試試看用 AI 來協助除錯。整個過程蠻有收穫的,分享給大家參考。 問題發現 Bug 描述 在測試登出功能時,發現 app 會發生 crash。追蹤後發現是在登出時,API 會呼叫底層的解密函式,但解密用的 key 明顯有問題,導致解密失敗而引發錯誤。 由於這段流程是另一位同事負責開發的,程式碼邏輯比較複雜,短時間內看不出根本原因。於是先採取防禦性做法: 如果 key 為空值,就將解密失敗的錯誤吃掉不處理 。判斷後認為這樣不會影響 UI 操作,因為登出後 key 會重新取得。測試後確認沒問題,就先把這個 bug 暫時壓下來了。 深入追查 第一回合:初步分析 趁著有空檔,決定詳細釐清這個問題。想試試 AI 的能耐,於是下了第一個 prompt: 分析 SessionManager 的 processEncryptedData 方法中,為何會發生 bytesToTrim > currentLength 的錯誤?從呼叫該方法的地方分析可能發生的原因。 AI 給出了幾個可能的原因: 加密數據損壞或截斷 網路傳輸過程中數據包丟失或損壞 API 回應中的加密字串不完整 解密後的最後一個字節值異常大 錯誤的加密算法或密鑰 使用了錯誤的解密密鑰或 IV Session key 交換失敗,但程式繼續使用無效密鑰解密 解密產生亂碼 Hex 字串轉換錯誤 包含非法字符、長度不是偶數、部分缺失等問題 AES CBC 解密失敗但沒有檢查錯誤 Whitebox 密鑰準備失敗 IV 不匹配 數據長度不符合 AES 塊大小要求 PKCS7 Padding 格式錯誤 加密時使用了錯誤的 padding 方式 最後字節不是有效的 padding 長度值 (1-16) 多重解密處理錯誤 數據被重複解密或解密順序錯誤 記憶體緩衝區問題 緩衝區大小分配錯誤或溢出 AI 也分析了呼叫鏈: API 回應 → DataTransformer → CryptoHandler → decryptSessionKey → processEncryptedData 評估: 這些分析大多是從相關函式內部找錯誤,但沒有太大用處,...