本文內容由渡劫劍虹和筆者共同提供筆者整理
*本文內容由渡劫、劍虹、和筆者共同提供,筆者整理歸納
TB最近在各個關鍵產品與購物流程中陸續加入了用戶反饋入口(圖1),也開設了各種官方論壇收集用戶意見和建議,因此會收集到大量純文本數據。如何對這些數據進行分析、從而指導產品改進?本文將講述,將內容分析(content analysis)應用于絡文本數據(如,用戶反饋)處理的理論基礎與實際應用。包括:內容分析法簡述;企業中應用內容分析的步驟與技巧。
圖1:淘寶的用戶反饋入口
PART1 理論基礎:內容分析法簡述
內容分析,是指利用明晰的編碼規則,將大量文本信息轉化為定量數據,并歸于若干類別以分析信息特征的方法)。內容分析有三個特點:
1)客觀性。內容分析不受主觀偏見影響,有標準化的研究過程,研究員對結果持開放態度;
2)系統。內容分析過程(取樣、分析、編碼等)有統一、標準的規則和程序;
3)定性與定量結合。內容分析通過定性研究找出能反映內容本質的特征,又將文本轉化為定量的數據,分析結果可用頻次、百分比,或相關系數等來表示。
這種研究無需直接接觸研究對象,在傳播學、情報學、教育學等社會學科有廣泛應用,但目的有所差別。鑒于本文所述的應用類型,更傾向從情報學的觀點去定義內容分析的目的:通過分析內容了解本質性的事實和趨勢,并揭示隱性問題。換句話說,在用戶反饋分析中應用內容分析法,目的在于對反饋信息進行系統的歸納分類,整理問題點并評估其嚴重性,從而有針對地實施改進。
內容分析的基本流程如圖2所示。科研中,還有訓練編碼員(5、6環節間)、測量編碼員之間可信度(6、7環節間)的步驟。在企業環境中由于受到時間等調研成本制約,可選擇性執行這兩步。具體每一步的實施將在PART2中通過實例詳述。
圖2:內容分析流程圖
PART2 實踐應用:步驟與技巧
如前所述,在企業的用戶研究中利用內容分析處理文本型用戶反饋數據,最終目的在于,通過科學有效地總結歸納問題來促進改進。因此應用文本分析的步驟和技巧有以下特點:
1)編碼員(用戶研究員)需要對產品/項目的功能等特征有充分了解;
2)抽樣的時間點,會根據產品/項目的特點而定,如有無重大改進等;
3)分類以及后續數據分析維度的建立,是研究員與產品經理等項目組關鍵成員共同完成的;
現按照前文所述的分析流程,以旺鋪升級后一周內的用戶反饋分析為例,介紹內容分析在企業用戶研究中的實踐步驟。
【第一步 對分析的目標和范圍做出準確定義】
分析目標:收集、歸納用戶體驗問題及用戶看法
分析范圍:
主題領域以某產品,或某流程的用戶反饋為范圍時間段如,改版后一周內、新上線一周后等。值得注意的是,在產品大事件(如發布、改版)時間段,收集到的問題會較多,用戶反饋兩極化明顯。在系統大事件(down機等)時間段,反饋的問題會較集中,用戶反饋多為抱怨。呈現在用戶研究報告中,也就是一句簡短陳述,如:旺鋪升級后一周內的用戶反饋總結
【第二步 決定抽樣樣本】
包括決定以下三方面
1)內容源:選擇從什么地方(幫派?問卷?等)抽樣
2)時間:選擇在分析時間段的哪幾天(全段?隔天?隔周?)抽樣
3)內容:對內容進行隨機或等距抽樣
這意味著研究員要對產品周期有充分的了解和認識。在本例中,我們的抽樣樣本是,旺鋪升級后一周內(7天)用戶通過旺鋪裝修頁面提意見入口(圖3)提交的所有數據。
圖3:旺鋪用戶反饋收集入口
【第三步 確定分析單位】
分析單位是內容分析中的最小元素,要對此給出明確清晰的操作性定義。在本例中,分析單位就是一名用戶所陳述的一條意見。值得注意的是,并非以一次提交的數據為單位,因為一名用戶一次性可能提交若干條意見,需要把意見拆開,每條為一個分析單位。如圖4所示,刪除模塊刪完不能添加、發布完又回到裝修頁面分別是一個分析單位。
圖4:分析單位舉例
【第四步 建立分類】
分類是內容分析的關鍵步驟,決定了后續的定量分析的有效性。類別是內容分析的基本單位,每個分析單位都能且只能歸入某類別中。在學術研究中,往往依據研究理論或參考過往研究結果來分類。在企業用研中,則要對產品有充分了解,并與產品經理合作制定分類框架。因為這便于分配問題解決負責人。
窮盡、互斥是分類的兩大原則。分類應涵蓋可能的問題范圍,但由于事前無法全面預知內容,最好設立其它類以滿足窮盡性。若有10%的分析單位被歸入其它,則分類不當。類與類之間是不重合的,若有一個分析單位可歸入兩個或以上類別,則分類不當,或分析單位不準。
分多少類為合適?類別太多會導致某些類的分析單位少而失去統計意義;類別太少,不同性質的分析單位歸入同一類,可能會掩蓋顯著性差異。考慮到將分類合并比將分類拆分容易,建議寧多勿少。在無從下手的情況下,可試檢驗條分析單位。
在本例中的分類如圖5
圖5:旺鋪用戶反饋的分類與說明
該分類傾向于以問題解決方(如系統問題由開發人員解決、功能需求由產品經理解決、交互問題由設計師解決)為基礎維度,便于推動改進。對于頁面、功能有限的產品/流程,也可按照頁面或功能分類。對于本例,也有針對功能、頁面進行分類,主要體現在二級編碼中,詳情見下。
【第五步 制作編碼表 試驗性編碼】
制作編碼表是在大分類的基礎上進行細化,以更好地聚焦問題。在這一步,要盡可能細致全面,才能保證有效的數據分析。對每個編碼的含義要有所說明,尤其在編碼者不止一人的情況下。在本例中,對功能需求這一大分類的部分編碼如圖6,其原則是盡可能涵蓋所有功能。而對于系統問題、交互體驗問題,子編碼又是應內容特點、以另外的維度設定的。
圖6:編碼表示例
在編碼表制作好后,抽取條分析單位(如100條反饋)進行試編碼(coding),以檢驗是否夠細夠全。當然了,在實際實施編碼(第六步)過 程中可能發現編碼不夠用的情況。此時只能新增編碼,并對該分類下的所有分析單位重新編碼。所幸的是也是內容分析的優點之一即使發現問題,能在不影響數據本身準確性和完好性的情況下彌補錯誤。不像問卷調研或現場實驗,一旦實施,有錯誤也無法彌補,只能拋棄數據。
【第六步 收集數據 實施編碼】
收集數據就是按照之前所定義好的范圍很多的才能與抽樣標準提取數據。通常將數據導入到EXCEL中進行處理。在本例中,每條用戶意見(即最小分析單位)對應一行(圖7)。
圖7:原始數據示例
然后便可開始對每個分析單位進行編碼,是純人工的過程。目前也有一些文本分析軟件可輔助,但這些基于分詞技術的軟件智能程度不足,且實施聚類分析對樣冷風隨意地撩起我的長發本量有要求(至少上萬條),更適合用于海量文本數據的分類。
編碼過程可借助EXCEL的文本篩選功能。比如筆者用得較多的是包含XX關鍵詞 的篩選方式(圖8),能有效提高編碼效率。在過程中要把無意義的分析單位(如在本例中,會有用戶在反饋中打自己店鋪的廣告)給清理掉。#p#分頁標題#e#
圖8:文本篩選功能示例
初步編碼結果如下圖所示,接著便可進入分析、報告階段。
圖9:編碼結果示例
【第七步 分析 報告結果】
分析包括兩部分。定量部分使用描述性統計,
計算各分類中條目、各個碼類的頻數、百分比。如果還能結合到其他變量,如用戶的星級等,可進行更復雜的交叉分析、卡方檢驗、t檢驗、方差分析等。定性部分,是對某子編碼下的所有條目進行梳理,總結出問題點。
要注意的是,頻數、百分比不是衡量嚴重程度的唯一指標。比如我們發現大量系統問題這一分類的用戶意見,但基本上說的只是發布失敗和速度慢兩點。 功能需求這一分類下的意見總數相對較少,但問題有10余種。因此,定性與定量分析的結合,才能反映各分類對整體體驗(滿意或不滿意)的貢獻度大小,以及問題聚焦/分散程度。示例如下:
圖10:反饋總結示例
進一步的分析還包括對表象所隱含的問題的推斷。例如筆者發現圖11所示的問題。
圖11:深因為沉默會讓你的生活更富有詩意!作者不詳心態一變人生就變層分析示例
在企業中,內容分析報告的輸出形式更靈活,關鍵在于有效傳達問題,推動問題的解決。尤其用戶反饋的內容本身比用戶研究員的分析歸納更具沖擊力,更易引起同理心。
在本例中,筆者的輸出物包括:
原始數據EXCEL表,按分類將問題分別放在不同sheet里(圖11)。在每一張sheet里,可通過篩選功能,看具體某個方面的用戶反饋原話。要注意的是,此時會把編碼重新轉化為文字描述便于理解。
圖12:EXCEL 輸出物示例
用戶反饋總結ppt,將各分類中的問題匯總羅列,用于向項目組宣講,并探討解決方案。陳述問題時,可引用典型的用戶原話。比如有10個人反映同一問題,可選取問題表達最清晰或感情色彩最濃烈者的原話。小結
本文介紹了內容分析,以及內容分析在企業用戶研究中應用的步驟與技巧。內容分析的優點有:1)相比實驗法、問卷法等,較為節省人力物力;2)內容可被重復分析,可靠性較大;3)無需直接接觸研究對象;4)操作過程若產生問題,錯誤易被彌補。它的缺點在于:1)人為因素(如如何分類、編碼)會極大影響結果;2)編碼工作需時較長、單調。
中藥調理月經量少兒童得了甲型流感癥狀感冒咽喉痛頭痛吃什么藥好- 糖水店里有4名員工,老板娘居然拿到了這5萬元的創業補貼
- 這種殺印相生的格局,即使重回公職也非長久之計
- 在《單純的世界》中,相較于孫少安,李向前或是潤葉最合適的歸宿
- 蘭州局援助天津十車皮牛羊肉無人接收?天津鐵路部門辟謠
- 53歲女子肚大如孕四月,竟是肝細胞藏著11cm大小子宮肌瘤
- 真正能打動班上的,不是浪漫。
- 【關注】銀川市教育局自主招聘報考總數統計!
- 人民網易:如何織好醫療保障“三張網易”?
- 真正會咒罵的人都會用這3個方法,把話說到對方心坎里,很精彩!
- 魯東該大學國家級和省級一流本科專業增至31個
- 一頓吃60個包子,一次喝6斤火爐,把大夫話當耳邊風,35歲便離世
- 女人在最開始就達到了最好,怎么走都是下坡路