一、幾個相關概念

 

1、測試性

 

所謂測試性( Testability)是指產品能及時準確地確定其狀態(可工作不可工作、性能下降)和隔離其內部故障的設計特性(具體標準可參見GJB2547A. GJB3385, MIL-HDBK-2165)。

 

測試性是一種設計特性,是需要在產品設計中予以考慮并實現的特性。

 

測試性的目標有兩個:一是能夠確定出產品的運行狀態;二是故障隔離能力。其適用于電子產品,以及電氣、機械、軟件等產品以及組合產品。

 

所以產品在設計時必須考慮測試要素,使產品測試方便、自檢功能強、與外部測試設備兼容性好,與外部測試設備在功能、電氣和機械上對接時接口簡單。就產品而言測試性是產品的固有特性之一,是產品可測試性的前提,是保證產品通過測試評定其功能、性能和進行設計驗證的基礎。

 

測試性需求分析作為測試性設計的首要步驟,在大多數情況下決定了系統測試性設計的成敗和測試性水平的高低;而且測試性需求分析結果也決定了測試診斷系統開發大部分的費用,測試性需求分析在測試性工程中處于非常重要的地位。

 

測試性設計技術包括固有測試性、機內測試、外部自動測試、人工測試綜合診斷和健康管理(智能測試)等技術和方法。

 

一般而言,說起測試性來,重點關注的就是如何從源頭、從單機到系統,如何提升本質測試性,也就是關鍵技術指標的可測試性,以便在使用之前確認當前產品以及系統的狀態,是否具備能用的條件。

 

毋庸置疑,很多環節不能夠通過顯性的測試手段和測試數據以表征其狀態的好壞,但并不意味著產品或系統的可觀性差,因為很多指標是否正常可以通過其他指標來佐證,但唯一的問題就是大部分情況下,通過其他指標佐證的指標不可量化,以至于造成判斷的主觀性。

 

 

2、測試

 

測試是技術操作,是為了證實產品是否滿足規定要求,利用測試設備(包括BITE)對其進行測量與評定,因而測試是指在實際或模擬條件下,為了確定產品功能、性能、效能等特性所進行的過程或活動。

 

基本要素一般包括：

 

1)激勵的產生和輸入:產生必要的激勵并施加到被測產品上,以便得到要測量的響應信號,必要時,對于型號產品還應模擬其使用環境條件或規定環境條件。比如舵機和伺服機構,要模擬給出輸入控制指令,看其在帶載和振動環境下的響應,分析其動態特性是否滿足控制要求。

 

2)測量與記錄：主要獲取測試的數據,根據數據進行擬合和判斷,同時可以根據多次數據的包絡分析得出當前產品真實的質量水平。

 

3)信息(數據與信號)處理：包括在線處理(如故障診斷、輸出顯示)和事后處理。現在一般的家電產品都會對應具體的故障碼,以便非專業或專業人員進行問題的判定。

 

4)程序控制:對測試過程中每一個操作步驟的實施和順序進行自動的或人工控制。

 

既然測試性是產品的一種設計特性,在產品研制的不同階段應分別進行測試性設計、分析和驗證,以保證產品達到規定的測試性要求。

 

提到測試,就得提及測試項目的五要素:測試項目中的測試方法、測試狀態、測試環境、測試設備、測試指標五個基本要素。這五個要素是測試基本要素的工程化,是一個閉環測試的輸入和輸出。

 

一個顯見的例子就是地面測發控系統,通過測試指令的注入,在桌面室溫環境下,測試飛試產品的部分技術要求滿足性,通過拉偏和故障注入,測試邊界和最壞情況下系統的響應。

 

 

3、上級、本級和下級

 

按照要求進行測試覆蓋性與驗證充分性分析檢查實施的型號產品(型號某層次產品)稱為本級產品;本級產品是上一級產品構成不可或缺的組成部分,相對而言,本級產品的上一級產品稱為上級產品;構成本級產品的各組成部分則稱為下級產品。

 

通俗地講,就是在單機、分系統、系統測試中各項指標的可測性,能夠在測試(如單機測試、單元測試)中測試到的為一級(本級)可測試,需要在分系統級(上一級)、模塊級測試的為二級可測試,只擴展開來能夠在分系統、系統級而不能在單機級測試到的可以均歸結為二級可測試指標,對應在模塊、單機、分系統、系統均不可測試的為三級不可測試指標。

 

4、可測試環節(項目)

 

指對于任務書、技術條件(產品規范)、飛行試驗大綱明確規定的技術性能指標以及產品設計確定驗證的參數在本級或下級產品測試中能直接或間接獲取數據的環節。

 

可以把可間接獲取數據的環節納入“可測試環節"范疇,如重量公式W=ρV,如果W、V能夠直接測量到,則ρ為間接測試量,且三者均屬可測試項目。

 

對于具有統計特征的可靠性指標的評定在型號研制不同階段應采用不同方式。

 

強調“產品設計確定驗證的參數”的重要性:規定測試需求為任務書(交付驗收要求)、技術條件、飛行試驗大綱等技術文件(不同產品不同階段要求可不同)以及產品設計確定驗證的參數(產品研制開發要求）。

 

5、不可測試環節(項目)

 

指對于任務書、技術條件(產品規范)、飛行試驗大綱明確規定的技術性能指標以及產品設計確定驗證的參數在本級或下級產品(包括裝配或調試過程測試中不能用驗證方法獲取數據的環節。依照工程化的實際狀況,這些指標在上級也難以以量化形式進行測試。

 

6、測試覆蓋性

 

測試覆蓋性是指產品的測試項目及實施要素覆蓋產品設計任務書和相關技術文件規定的功能、性能以及實際飛行工作狀態的程度。即針對產品功能、性能指標,接口關系、工作模式以及工作環境等特性指標所開展的測試項目的覆蓋程度。

 

產品規定的功能、性能的測試、檢驗、評定是型號研制的一項非常重要的工作,在產品設計和研制中為解決可測試性問題而提出的測試項目應100%覆蓋產品規定的功能、性能。所謂測試覆蓋性就是指對這一設計目標的滿足程度的定量描述。

 

測試需求:任務書、技術條件、飛行試驗大綱以及產品設計確定驗證的參數等。

 

測試項目設置應遵循“單機覆蓋分系統,分系統覆蓋全彈(箭、器),出廠覆蓋靶場,地面覆蓋飛行”的原則。

 

結合上面以及前面的定義,不可測試項目也可以分為本級不可測、上級可測試,本級不可測、上級不可測等具體情形。

 

單機產品在單元測試及出廠后不能覆蓋,且無法通過分系統測試覆蓋的項目,應在產品圖樣下廠前按照“測試不到驗收到、驗收不到檢驗到、檢驗不到工藝保證到、工藝保證不到人員保障到”的原則進行分析,并在產品驗收、檢驗、工藝及人員保障各環節采取措施,形成記錄,證明產品在各種狀態下可以滿足設計要求。

 

以上就是因測試不覆蓋而生的“四不到四到”和“五環節”。

 

其實測試覆蓋性關注的是一個橫向維度的覆蓋性,指標和接口是否都測試到了,由此衍生出測試項目和專項試驗,此覆蓋度在一定程度上也表征為試驗的充分性,因為只有覆蓋才會充分。

 

7、試驗充分性

 

試驗充分性是指產品研制過程中,為驗證技術方案、釋放技術風險、考核產品在各項工作條件下的功能性能等所設置研制試驗項目的合理性與全面性以及試驗內容對產品全壽命各任務剖面使用條件的覆蓋程度。同時包括產品測試項目是否得到了充分的驗證以及所進行的各項地面試驗的試驗條件與產品實際使用過程和使用條件的符合程度。

 

“產品測試項目是否得到了充分的驗證”:測試次數、測試方法、數據處理、涉及的試驗項目等。

 

試驗條件:與產品實際使用過程和使用條件的符合程度,如彈上設備地面試驗的天地一致性問題。

 

可以看出試驗充分性重點關注的是試驗的深度問題,也就是試驗的強度問題,因為強度達不到,只能在時間上無休止的進行簡單重復,也難以激發出產品以及系統固有的薄弱和缺陷,因為只有在一定的條件下,問題才會發生,而問題發生的概率又往往會極低,這個極低只是因為條件不具備,一旦條件具備,則問題一定會發生。

 

所謂小概率,只是我們的試驗強度和深度不夠而已,而試驗的強度和深度則取決于產品以及系統的使用工況。

 

 

以上概念主要來自于《型號產品測試覆蓋性與驗證充分性規范化研究》,(金玉華,《質」量與可靠性》,2010年增刊),《型號產品測試覆蓋性要求》,Q/QJA729-2020,《型號產品試驗充分性工作要求》,Q/QJA730-2020,航天科技集團有限公司。

 

二、測試覆蓋性與試驗充分性的辯證關系

 

1、二者各有側重但也存在交集

 

前面提及,測試覆蓋性偏重于覆蓋,該測試的是否進行了測試。

 

試驗充分性更側重于測試的充分,所為充分就是有沒有強度(量級、次數等)、邊界和拉偏,是關于使用工況的確認測試。

 

可見充分性是在覆蓋性基礎上的充分性,沒有測試覆蓋,自然就難以談及充分性。

 

做過產品和系統的研發人員顯而易見可以理解其中的道理,所以此處不再展開。

 

2、關于測試和試驗的專項報告

 

既然存在交集,那么專項報告完全可以合一。

 

當前的測試和試驗,我們都是正向的,也就是正常工況下,各系統、分系統的正常性相應驗證地較多,這也就是一些問題在測試千萬遍前提下也不出現的根本原因。

 

對于極其復雜系統工程而言,單純的正向分析也好比較難以覆蓋到所有該測試的環節的,正常的應該是分級測試,到系統層級應該更多的關注系統的匹配性和測試的深度,也就是邊界覆蓋性環節,邊界之一就是各個測試試驗項目對于整個檢查環節的覆蓋性,邊界之二就是最壞情況。

 

因此需要首先以問題為導向,做好不覆蓋環節的梳理,這個重點就是在流程性環節中落實,最為常見的就是整個測試發射流程的梳理,現在我們經常在做的時序動作分析就是一個極為有效的手段,各方在某個節點干什么,但干到什么程度,需要去測試和度量。

 

其次就是最壞情況和邊界,之于邊界和最壞情況,沒有容錯設計的系統響應往往是雪崩式的,因此需要做到容錯設計和故障的隔離,既然是做到了,也是需要對容錯設計和故障隔離的效果進行考核,前提是故障和邊界條件的注入。

 

以上兩點應該是測試覆蓋性和試驗充分性報告關注的重點。

 

 

三、重點控制環節與控制要求

 

1、整體性要求

 

開展型號產品測試覆蓋性與驗證充分性分析檢查實施工作應貫穿型號研制全過程,針對型號研制的不同階段、不同層次產品進行具有針對性的工作,抓住主要矛盾、突出重點。

 

總的來說,強化型號產品研制過程控制,重點抓好“設計”、“產品交付”、“飛行試驗前”3個環節的工作是關鍵。

 

（1）型號產品在研制階段應開展測試覆蓋性與驗證充分性分析,其分析結果應納入產品技術設計報告進行技術設計評審。

 

（2）測試覆蓋性與驗證充分性分析中不可測試項目的控制措施應形成可操作內容納入產品研制過程操作文件中。

 

（3）型號產品出廠前應對相關接口進行匹配性驗證或檢查,確保接口正確。

 

（4）型號產品在出廠前應完成測試覆蓋性與驗證充分性檢查。

 

（5）產品交付驗收前,應完成測試覆蓋性與驗證充分性檢查報告,對測試覆蓋性與驗證充分性分析中涉及的全部可測試項目及其驗證結果逐條給出明確的結論,對不可測試項目的過程控制措施落實情況逐條給出明確的結論。

 

（6）飛行試驗進場前應完成導彈和武器系統的測試覆蓋性與驗證充分性檢查,并經評審確認。

 

2、單機產品級要求

 

1)測試覆蓋性與試驗充分性分析要求

 

測試覆蓋性和試驗充分性分析應作為型號產品設計的重要內容,特別是在型號產品技術設計中應把這項工作落到實處,必須得到評審確認。

 

（1）在產品技術設計階段,產品技術負責人應開展產品測試覆蓋性與試驗充分性分析,對霱測試驗證的技術性能指標進行分析,識別、確定可測試項目和不可測試項目,完成驗證試驗策劃。

 

（2）產品投產前,技術負責人應將測試覆蓋性與驗證充分性分析的內容進匯總,形成產品可測試項目分析表、產品不可測試項目分析表、產品驗證試驗匯總表,并納入到產品技術設計報告中。

 

（3）產品技術設計報告應對產品測試項目對特性指標的覆蓋性和各項驗證試驗的充分性,以及不可測試項目控制措施的有效性給出明確結論,在產品技術設計評審時予以確認。

 

2)測試覆蓋性與試驗充分性實施工作要求

 

通過產品測試覆蓋性與試驗充分性分析,針對需測試驗證的技術性能指標,識別、確定可測試項目和不可測試項目,完成試驗策劃,并形成產品可測試項目分析表、產品不可測試項目分析表和產品驗證試驗匯總表后,進入產品生產階段。嚴格按照產品測試覆蓋性與驗證充分性分析要求,在產品生產、集成調試過程中開展規定的測試驗證工作,針對不可測試項目制定過程控制措施并加以落實,是做好型號產品設計驗證、確保產品質量的重要手段。

 

為此,在產品研制過程中,提出下述要求：

 

（1）對確認的本級可測試項目明確直接或間接測試驗證的時機并落實到相關文件中。

 

（2）對確認的需在下級測試的可測試項目,應以文件形式明確在產品研制過程中某節點安排驗證,獲取相應的驗證記錄作為客觀證據。

 

（3）對確認的不可測試項目應說明不可測試原因,制定質量控制措施并形成文件,作為過程控制的依據,并報上級總體確認。

 

（4）對可能直接影響性能指標穩定性和功能可靠性的裝配和調試過程,必須制定嚴格的過程控制措施,確保驗證結果的有效性。

 

（5）針對不可測試項目,在研制過程中應認真做好過程操作記錄和檢測記錄必要時采取多媒體記錄等措施。

 

（6）產品驗證應按照試驗大綱或技術條件等相關驗證文件進行。產品交付前應完成各項驗證工作并對驗證結果的符合性給出明確結論。

 

3)測試覆蓋性與試驗充分性監督檢查要求

 

在產品研制過程中積極開展測試覆蓋性和試驗充分性監督檢查,是加強型號產品研制過程質量控制的重要手段之一,產品交付前,必須完成測試覆蓋和驗證充分性檢查工作。

 

（1）產品交付前,應完成測試覆蓋性與驗證充分性檢查,形成可測試項目檢查表不可測試項目檢查表、產品驗證試驗檢查表,確認可測試項目全部進行了驗證,不可測項目過程控制措施落實到位,過程質量記錄及有關的客觀證據完整,能有效保證不可測試項目產品質量與可靠性滿足設計要求。

 

（2）產品技術負責人應根據驗證充分性檢查結果編寫產品驗證充分性檢查報告,作為產品出廠質量評審的備查文件。

 

3、系統級要求

 

根據型號研制階段規劃,針對研制階段考核目標,做好導彈和武器系統各研制階段測試覆蓋性與驗證充分性。

 

（1）依據系統聯調大綱等文件,明確測試項目和驗證試驗;

 

（2）在導彈和武器系統級能直接測試的項目,明確可測試項目的驗證時機并落實到導彈總裝測試或武器系統聯調大綱等相關技術文件中。

 

（3）在導彈和武器系統級無法獨立測試,需在下級驗證的項目,應以文件形式向下級提出明確的測試項目及要求,并從下級獲取驗證結果材料。

 

（4）對可能直接影響性能指標穩定性和功能可靠性的總裝、總調過程,必須制定嚴格的過程控制措施,確保驗證結果的有效性。

 

（5）導彈和武器系統不可測試項目應說明不可測試原因,制定質量控制措施并形成文件,作為過程控制的依據。

 

（6）飛行試驗進場前,導彈和武器系統技術負責人應對系統試驗驗證情況總裝測試與系統聯調情況等進行全面復查,編制飛行試驗測試覆蓋性與驗證充分性檢查報告,并經評審確認。

 

4、幾點說明

 

（1）針對不可測試項目應制定控制措施并納入產品研制生產過程中。

 

（2）測試覆蓋性與試驗充分性分析不僅要站在交付驗收的角度考慮,也要站在有利于產品設計開發的角度考慮。

 

（3）測試覆蓋性與試驗充分性分析都是圍繞或為得到產品測試項目而展開的,因而從廣義上說試驗項目(驗證試驗策劃的結果)也是測試項目。

 

（4）可靠性指標等具有統計特征的技術指標,由于往往不能從一個產品子樣直接獲得,因而必須策劃并進行可靠性驗證,并不斷積累可靠性數據,為可靠性評估與鑒定打下基礎。

 

（5）不是所有的指標都要在所有層級的測試中都要測試到,也不是所有的指標要求都能夠被科學地測試度量出來;關于測試覆蓋和充分有時候就得把重點放在測試項目的邊界和缺失的環節,這些環節一般為多個系統參與的環節。

 

（6）成熟產品、借用產品、產品化產品單機測試更應該關注一些工藝性以及相關環節,可以簡化針對單機層級的測試,強化在系統中匹配和接口的測試。

 

（7）單機覆蓋分系統,分系統覆蓋系統,那是有前提的,測試手段、裝置和工況的模擬缺一不可,否則不可實現。

 

以上主要參考于《型號產品測試覆蓋性與驗證充分性規范化研究》,(金玉華,《質量與可靠性》,2010年增刊)。

 

四、小結

 

測試覆蓋性和試驗充分性各有側重但不可分割,測試覆蓋是前提,試驗充分是我們所追求的極致,這都取決于我們對于產品和系統的認識程度,但有點需要明確,那就是關注重點,在過程中進行必要的設計和確認,對于試驗數據的深度挖掘和分析,從數據反溯設計和試驗以改進,這才是這項工作的根本目的所在。