專案概述
研究的全貌
PO 想知道的始終只有一件事：產品要怎麼改，才會變好。這個問題可以拆成兩半 —— 「從誰開始改」和「改什麼」。
這個研究分成三個階段，每個階段都在回答其中的一部分：
| 階段一：第一次問卷 | 階段二：質性研究 | 階段三：第二次問卷 | |
|---|---|---|---|
| 主導 | DS 團隊 | User Researcher（我） | User Researcher（我）、DS |
| 目的 | 用開始使用時的目的粗略區分使用者類型，找出低 NPS 的原因 | 了解不迫切的使用者是什麼樣的人、對產品有什麼不滿 | 推算各類型使用者群的占比、對產品有什麼不滿 |
| 結果 | 從開始使用時的目的推估，不迫切的使用者占多數；各群和 NPS 高度相關的評價項目 | 發現不迫切的使用者無法統一成一個人物誌；且 NPS 低不代表滿意度低 | 三型在整體中的位置與比例；各群改善時值得優先處理的項目；質性研究的假設被推翻 |
| 對下一階段的影響 | 從不迫切的使用者切入研究；評價項目沿用到訪綱 | 評估這階段發現的三型各占全體多少；評價指標改成滿意度 | 寫成報告，成為部門調整個人端投入方向的依據之一 |
背景：兩條線
線 1：一個被推翻的假設
GLOBIS 学び放題最初的人物誌，是一群「學習目標模糊」的使用者（日文原名：なんとなく型）：他們想提升知識與技能，但沒有明確、迫切的課題。這是由 PO、Customer Success 與客服人員依照他們對使用者的了解一起制定的，且成為了部門內共通的人物誌。
我們一直相信，即使是這群人，也有還沒浮上檯面的課題；只要讓他們看到處境相似的人怎麼把學到的用在工作上，課題感就會被激發，進而開始積極學習。
PO 和一位 UX Researcher 同事為此做了概念驗證，結果受測者的共鳴很低。這動搖了團隊一直以來的認知 —— 使用者學習的動機，不一定來自工作上的課題。團隊開始想知道：產品裡占多數的使用者，到底是什麼樣的人？使用我們產品的動機又是什麼？
線 2：低 NPS 的原因
同一時期，DS 團隊透過問卷發現 NPS 和學習持續有相關，想找出使用者給低分的原因，作為產品改善的突破口。
階段一：第一次問卷 —— 我接手時的起點
DS 團隊接著又做了一份問卷，用「開始使用時的目的」粗略地區分使用者的迫切度，同時詢問 NPS 與各項評價。分析時只取剛開始使用的使用者。
結果推估，不迫切的使用者占多數。問卷也找出了各群和 NPS 高度相關的評價項目；問卷中的各項評價，後來也直接用在質性研究的訪綱中。
我把兩條線收在一起
我接手後，決定先從不迫切的使用者開始，原因有兩個：
- 問卷推估他們占多數，以他們為出發點改善，影響力最大。
- 他們很可能就是產品最早的人物誌 —— 學習目標模糊型。問卷只用開始使用時的目的區分使用者，無法確定兩者完全對應；但概念驗證推翻了原本的假設，PO 急需找到其他突破口，讓這群人也能積極學習。
因此，我把階段二的目的定為：
- 用質性研究建立不迫切的使用者的人物誌（他們是什麼樣的人）
- 找出他們對產品有什麼不滿（產品改善的突破口）
- 把這群人定義清楚後，再用問卷確認他們的占比
階段二：質性研究
招募：條件與理由
我從第一次問卷的回答者中招募受訪者，條件有兩個：
- 迫切度中、低：階段二要了解的，是不迫切的使用者。選「學習基礎的商業知識」的人，預設迫切度低；選「在工作上做出成果」的人，迫切度可能高也可能低，但也一起納入（理由見下方）。
- NPS 給中、低分（中立者與批評者）：階段二的另一個目的，是找出他們對產品有什麼不滿。給高分的推薦者感受到的不滿通常比較少，所以不納入。
預期會混入的非招募對象，在分析時排除
第一次問卷刻意不直接問使用者主觀的感受（例如「你目前為工作而學習的迫切程度，0 到 10 分是幾分？」）。使用者對自己的主觀判斷通常不夠準確，直接問，得到的結果不可靠；所以改用「開始使用時的目的」這個較客觀的事實，回推他們的迫切度。代價是，DS 團隊在設計問卷時就知道，這一題無法把迫切度不同的人分得很清楚。
因此，我們在招募時就預期，選「在工作上做出成果」的人裡，會混入迫切度超出研究對象的使用者。這些人不在招募階段篩掉，而是預計在訪談後的分析中排除，例如其實是為了解決迫切課題而來的人。
訪談設計：先問情境，最後才問分數
訪談在線上進行，每場約 60 分鐘，由我或 DS 主持，另一人記錄。
請受訪者重現使用過程
我請受訪者共享畫面，重現最近一次使用 GLOBIS 学び放題的過程。光靠回憶，人很容易遺漏細節；實際操作一次，才看得到他們真正怎麼做，例如怎麼判斷要看哪支影片。
提問順序的取捨
這階段的研究有兩個目的 —— 了解受訪者是什麼樣的人，以及他們對產品有什麼不滿。我們比較了兩種訪綱設計方式，差別在於先問情境，還是先問 NPS：
- 先問情境，最後才問 NPS 與各項評價：得到的是受訪者回顧過使用經驗後的綜合評價，情境也問得深；代價是分數容易受到訪談中聊到的印象影響。
- 先問 NPS 與各項評價，再追問給分的理由：得到的是受訪者直覺的第一印象，不滿的地方也明確；代價是受訪者後面的回答容易往自己剛給的分數靠攏。
最後我們選了前者。受訪者的 NPS 在事前的問卷裡已經拿到了，訪談要的不是分數本身，而是分數背後的質性洞察。先請受訪者重現、回顧自己的使用方式，最後才用 NPS 與各項評價確認，他們就能根據剛回想起的具體經驗，說出產品的優缺點與背後的脈絡。
分析：從逐字稿到三型人物誌
1. 行為變數分析：釐清受訪者可以分成幾組
訪談結束、還沒開始分析時，我們就注意到：從問卷招募來的不迫切的人，似乎沒辦法歸成同一類。為了有依據地判斷他們可以分成幾組，我、另一位研究員和 DS 三人各自熟讀逐字稿，找出能區分受訪者的特徵作為「維度」。接著依每個維度定位每位受訪者，找出在最多維度上相近的組合，作為分組與選出核心受訪者的依據。
2. KA 法：從逐字稿找出貼近發言的價值
訪談逐字稿的資料量很大，又混雜著受訪者的言行、狀況、脈絡等各種性質不同的內容。如果直接用親和圖歸納、或試著從中整理出價值觀，工作量太大，也很難收斂。因此我們先用 KA 法（日本發展出的質性分析方法，把訪談中的每段經驗拆成事件、內心的聲音與價值），從逐字稿中找出最小顆粒度、貼近受訪者實際發言的價值。分析時，優先處理確認真正不迫切、符合研究對象的受訪者。
3. 價值地圖：依研究目的整理價值
用 KA 法找出的價值，接著整理成價值地圖：把價值依因果關係連起來，看出受訪者的行動背後，是哪些價值在推動。
整理價值地圖時，如果沒有先定好方向，很容易依照整理者個人的主觀，去形塑受訪者的價值。因此，我對照階段二的兩個目的，先定出整理價值地圖的兩個方向：
- 形成使用目的的價值（對應「了解他們是什麼樣的人」）：這一型的使用者，是因為有什麼樣的價值觀，才成為這一型的使用者？
- 使用服務時感受到的價值（對應「對產品有什麼不滿」）：他們使用 GLOBIS 学び放題時感受到哪些價值？哪些被滿足、哪些沒有被滿足，所以才給出那樣的滿意度？
4. 三型人物誌
我們在眾多的行為變數中，嘗試找出一個能串聯這三型的維度，用來解釋三型之間的關係，最後選了「把學習內容用在工作上的迫切度」。我們的解釋是：三型想在工作上做出成果的方向是一樣的，差別在迫切度。
我們想找的，是一個能切分使用者群的軸：之後的問卷要用它把回答者分群，比較各群的占比，以及各群對產品有什麼不滿。三型如果各自用一套條件判斷，回答者可能同時符合兩型、或哪一型都不符合，各群的占比與評價就無法互相比較。
兩個發現，改變了下一階段的目的
發現一：不迫切的人不只一種
我們原本以為，不迫切的人可以整理成一個人物誌，只要從質性上了解他們，就能找到產品改善的突破口。
實際上，以「不迫切」為條件招來的人，可以分成三型。光是不迫切的人，就分成 A 型和 B 型兩種；而如同招募時的預期，其中也有迫切度高的人（C 型） —— 選「在工作上做出成果」的人裡，混入了真正迫切的人。迫切的人原本不在階段二的研究對象內，但把他們也整理成人物誌之後，三型就能用迫切度這一個維度區分，論述才完整。
三型的人物誌與價值地圖，已經讓我們看到各型的改善候補。接下來要知道的，是三型在整體使用者中各占多少 —— 這樣才知道照哪一型改善，影響力有多大。
發現二：NPS 低，不代表不滿意
我們原本以 NPS 的低分作為線索，去了解受訪者對產品的不滿。但在訪談中，我們發現受訪的批評者，其實不一定對服務不滿；給低分的理由，常常是「身邊沒有可以推薦的人」。
我們在現場、問完 NPS 之後補問了滿意度，量表同樣是 0 到 10 分，受訪者給的分數普遍比 NPS 高。「不推薦」很難靠改善產品改變，團隊真正需要、也改得動的，是使用時的不滿 —— 因此我們把下一階段的評價指標改成滿意度。
進入階段三之前，我們先補完 C 型的分析，讓三型都有完整的質性特徵，才開始據此設計問卷。
階段三：第二次問卷 —— 把質性發現變成量化題目
這個階段的目的，是推算出三型各占多少，並用滿意度找出使用時的不滿。
問卷設計
我和 DS 一起設計問卷，有兩個重點：
- 不再只用一題推估迫切度：設計第一次問卷時，還沒有質性研究的發現可以參考，只能用「開始使用時的目的」粗略推估迫切度，也因此區分得不夠細，例如「在工作上做出成果」每種人都可能會選。質性研究讓我們看到，迫切度的高低主要反映在兩件事上：學到的東西想用在現在還是將來，以及它對目前的工作有多需要。這次就用這兩題組合判斷迫切度。其他在質性研究中看起來和迫切度有關的特徵 —— 例如想體系化地學還是只學需要的（以下稱學習方式）、想學的領域有多明確 —— 也一起放進問卷，綜合分析哪些要因真的和迫切度高度相關。
- 滿意度的子項目，直接用價值地圖找到的價值出題：第一次問卷的評價項目，是團隊在調查前依自己對使用者的理解放進去的；這次改用質性研究實際找到的價值。
結果
- 大多數使用者並不迫切。
- 學習方式和迫切度無關：我們原本預期學習方式和迫切度有關，所以設計問卷時只以迫切度為主軸。問卷顯示兩者沒有質性研究中看到的關係，學習方式比較像個人的習慣與偏好。因此分類改成「迫切度 × 學習方式」。另一方面，想學的領域有多明確，則和迫切度高度相關：迫切度越高的人，想學的領域也越明確。
- 兩種學習方式重視的項目不同：和整體滿意度高度相關的子項目中，體系化地學的人多了「看學習路徑的標題和說明，能不能判斷合不合自己的需求」。這些高度相關的項目，是改善時值得優先處理的候補。
- 三型只涵蓋了一部分使用者：依三型的定義對照問卷的分類，三型各自對應到其中一格；但問卷也找到了質性研究沒看到的組合，例如不迫切、但只學需要的人。
- 迫切度和滿意度的關係，和質性研究看到的相反：從訪談時補問的滿意度看，迫切度越高的人滿意度越低；問卷結果剛好相反 —— 迫切度越高，滿意度越高。
成果與後續
我負責報告質性研究的部分，DS 負責量化的部分，一起向 PO 與部門主管報告。
這個研究雖然沒有直接影響具體的產品決策，但它和團隊在個人端的其他驗證一起，成為部門後續調整個人端投入方向的依據之一。（這是部門整體的決定，並非由研究團隊主導。）
回頭看
- 篩選時用了 NPS 當條件，招到的批評者不一定對服務不滿
如果篩選時就加一題滿意度，能更早發現 NPS 和滿意度的落差，也能招到真正對服務不滿的人。實際上，質性研究中我們並沒有找到滿意度真正偏低的受訪者。我們規劃再招募一次，專門找這樣的人，但第二次問卷結束後不久，部門方向調整，沒有執行。 - 質性研究看到的兩個關係，都被問卷推翻
質性研究中，迫切的人傾向只學需要的，而且迫切度越高，滿意度越低；問卷卻顯示學習方式和迫切度無關，迫切度和滿意度的關係也剛好相反。深入分析的人數有限，本來就可能看到整體並不存在的關係。後者回頭看，我認為招募條件也可能是原因之一：我們只招 NPS 中立者與批評者，所以混進來的迫切的人，本來就是 NPS 給低分的人；迫切但 NPS 給高分的人，一開始就沒被招進來。NPS 和滿意度雖然有落差，但我推測兩者不至於完全無關，這個條件多少也篩掉了滿意度高的人。
對當初的假設是壞消息，但正因為問卷建立在質性研究之上，我們才看得到真正的比例與關係。 - 在兩個不完美的指標之間取捨
NPS 和學習持續有相關，訪談時也能追問分數背後的原因；但在量化問卷中，它會受到其他因素影響，例如身邊沒有可以推薦的人。滿意度更貼近我們想知道的事，判斷時不確定的因素也更少，但它和學習持續的關係還沒有驗證過。我們選了滿意度，並規劃像之前的問卷一樣，追蹤回答者後續的活躍度，驗證兩者的關係，但同樣因部門方向調整而沒有執行。