《微觀量化百問》第十二期 金融數(shù)據(jù)的復(fù)雜性及數(shù)據(jù)處理的重要性

    一般而言，量化投資可粗略分為六個環(huán)節(jié)：收集數(shù)據(jù)、數(shù)據(jù)清洗、特征提取、模型開發(fā)、組合優(yōu)化、交易執(zhí)行。數(shù)據(jù)收集和處理是量化投資中必不可少的環(huán)節(jié)，理解金融數(shù)據(jù)的復(fù)雜性及數(shù)據(jù)處理的重要性，對認(rèn)識量化投資具有重要意義。

    Q45：如何理解金融數(shù)據(jù)的復(fù)雜性，它有哪些主要特點？

    （一）低信噪比

    金融數(shù)據(jù)中噪音比例高，提取有效信號的難度較大，模型如果調(diào)整不夠得當(dāng)，就容易學(xué)習(xí)“噪音”。由于這一特性，量化投資在模型開發(fā)和調(diào)校時尤其強調(diào)避免過擬合，處理金融數(shù)據(jù)時格外注重邏輯。以A股為例，不同股票具有不同漲跌停規(guī)則，此外新股上市以及復(fù)牌等行為都需要特殊處理，故而需要在邏輯的基礎(chǔ)上對信息進(jìn)行合理的挖掘、過濾、組合。

    （二）時序單調(diào)性

    證券交易數(shù)據(jù)等時間序列有時序性（時間不可倒流），且金融市場時刻存在博弈，規(guī)律具有時變特性。量化投資方法論的目的是用歷史數(shù)據(jù)預(yù)測未來，所以一定要避免未來信息的引入，并合理評估歷史回測。

    Q46：金融數(shù)據(jù)可以如何分類？

    （一）按照數(shù)據(jù)格式分：

    （1）標(biāo)準(zhǔn)化數(shù)據(jù)

    常見的是截面、時間序列等數(shù)值類型數(shù)據(jù)，如交易所原始數(shù)據(jù)、原始行情及各類衍生出的價格、交易量、K線圖等。普通投資者在炒股軟件上看的分時圖、K線圖等數(shù)據(jù)也都衍生于交易所的原始數(shù)據(jù)，這些較為干凈的被稱為“標(biāo)準(zhǔn)化數(shù)據(jù)”。

    （2）非標(biāo)準(zhǔn)化數(shù)據(jù)

    以文本數(shù)據(jù)為主，包括財經(jīng)新聞、財經(jīng)論壇問答、賣方分析師投資報告、第三方機構(gòu)提供的特殊數(shù)據(jù)等。這些數(shù)據(jù)里低相關(guān)非重大信息占比高，相比標(biāo)準(zhǔn)化數(shù)據(jù)會更復(fù)雜一些，所以被稱為“非標(biāo)準(zhǔn)化數(shù)據(jù)”。為應(yīng)用于量化策略開發(fā)，必須先對其進(jìn)行數(shù)據(jù)清洗等結(jié)構(gòu)化處理。

    （二）按照數(shù)據(jù)來源分：

    （1）價量數(shù)據(jù)

    價量數(shù)據(jù)包括一切能從市場交易行為中提取的信息，不局限于股票及其他資產(chǎn)的價格，以及衍生的各項技術(shù)類指標(biāo)。包括日間量價數(shù)據(jù)（日K）、日內(nèi)量價數(shù)據(jù)（分時數(shù)據(jù)）、逐筆數(shù)據(jù)（股票的每筆成交和掛單數(shù)據(jù)）。其中日內(nèi)量價數(shù)據(jù)的體量是日間數(shù)據(jù)的幾百到幾千倍，逐筆數(shù)據(jù)的體量可以是日間量價數(shù)據(jù)的萬倍以上。

    （2）基本面數(shù)據(jù)

    既包括宏觀基本面、產(chǎn)業(yè)鏈上下游發(fā)展、行業(yè)發(fā)展趨勢等，也包括上市公司的財務(wù)報表如資產(chǎn)負(fù)債表、利潤表、現(xiàn)金流量表等。主觀投資在獲取及處理基本面數(shù)據(jù)上擁有明顯的相對優(yōu)勢，通過深度調(diào)研還可獲取非公開非結(jié)構(gòu)化信息。

    （3）事件驅(qū)動數(shù)據(jù)

    通過預(yù)測市場對特定事件的反應(yīng)不足或過度反應(yīng)，判斷股票價格變化以獲取超額回報。在金融領(lǐng)域，“事件”通常指“可能在短期導(dǎo)致投資者預(yù)期發(fā)生變化、對公司的基本面或其股票價格產(chǎn)生重大影響的情況”，比如股票回購和股東增持等。

    （4）另類數(shù)據(jù)

    另類數(shù)據(jù)是個相對的概念——當(dāng)某種另類數(shù)據(jù)逐漸被市場上大部分參與者所接納和使用時，就不再“另類”。目前來看，另類數(shù)據(jù)包括所有投資研究中使用的非傳統(tǒng)來源的新型數(shù)據(jù)，如ESG數(shù)據(jù)、社交媒體評論、衛(wèi)星圖像、移動設(shè)備數(shù)據(jù)、應(yīng)用程序使用情況、互聯(lián)網(wǎng)搜索記錄和消費者交易數(shù)據(jù)等。

    一般而言，數(shù)據(jù)點及結(jié)構(gòu)化數(shù)據(jù)越多，越有利于量化投資進(jìn)行建模。目前國內(nèi)主流量化私募的模型中價量因子占比較高，同時持續(xù)對基本面因子深入研究。隨著量化行業(yè)的持續(xù)發(fā)展，未來各類因子都會提供非常重要的貢獻(xiàn)。

    Q47：國內(nèi)對另類數(shù)據(jù)的研究和運用情況如何？

    另類數(shù)據(jù)研究在海外已擁有較為成熟的應(yīng)用。另類投資管理協(xié)會（AIMA）與金融科技公司SS&C合作發(fā)布的報告顯示，目前全球活躍的另類數(shù)據(jù)供應(yīng)商超過400家，而1990年時只有20家。根據(jù)AIMA與美國銀行的聯(lián)合調(diào)查，目前約有一半的資管機構(gòu)已在使用另類數(shù)據(jù)，且這一數(shù)量還在不斷增長。

    但在國內(nèi)，由于金融市場發(fā)展階段的差異性，具體表現(xiàn)為獲取難度偏大（高價值數(shù)據(jù)獲取難、易獲取數(shù)據(jù)質(zhì)量低）、成本相對較高，非結(jié)構(gòu)化數(shù)據(jù)的處理技術(shù)還不夠成熟等原因，目前另類數(shù)據(jù)領(lǐng)域仍屬藍(lán)海。除了與多家數(shù)據(jù)第三方保持聯(lián)動外，不少主流私募也在以較快的速度不斷搜集、積累和持續(xù)探索另類數(shù)據(jù)，以尋找多元化、差異化的Alpha來源。

    Q48：數(shù)據(jù)清洗和處理的一般步驟有哪些？

    數(shù)據(jù)數(shù)量和質(zhì)量將直接影響最終投資組合表現(xiàn)，其中數(shù)據(jù)的數(shù)量則是制約機器學(xué)習(xí)模型訓(xùn)練和預(yù)測準(zhǔn)確度的關(guān)鍵因素。數(shù)據(jù)清洗和預(yù)處理的步驟一般包括：缺失值處理、重復(fù)值處理、數(shù)據(jù)去極值、數(shù)據(jù)中性化（指消除數(shù)據(jù)中的某些因素對投資策略的影響，從而使策略更具普適性和可靠性。常見的中性化包括市值中性化、行業(yè)中性化、風(fēng)格中性化等）、數(shù)據(jù)標(biāo)準(zhǔn)化（如日期可能需要被轉(zhuǎn)換為特定的格式）等。

    （CIS）