實習經驗分享：長照新創 Jubo AI/DS Product Manager Intern
關於 Jubo
- 公司理念：We Connect Care.
- 公司規模：約 80 人，總部位於台北新店，在台南、嘉義、新加坡、北美也設有辦公室。
- 公司產品：Vital Link、NIS、SPACE、智齡照顧網…等多項醫療、長照領域產品。
Jubo AI/DS Team 的 PM Intern 在做什麼？
我是 Jubo 第一位 PM Intern，所以我想日後工作內容可能會再調整，但可以就我的經驗簡單分享：
＃將 AI Model 商品化
＃資料探索與簡單的數據分析
＃規劃雛型、使用者訪談
＃制定產品路線圖與指標
＃跨部門溝通、資源協調
將 AI Model 商品化
到職後，我首先收到兩個看似簡單的任務：
- 將一般傷口分析模型推上線
- 將失智症評測模型推上線
這兩個模型是先前暑期實習生的專案結果，到了我（秋季實習生），就是要負責將模型推上線，看是要放進NIS（護理資訊系統）或是與外部專案合作都可以，給了我無限的發揮空間。
附帶一提，若對 2022 暑期實習生成果有興趣，可自行參閱下方連結
- 2022 Jubo 暑期實習生成果發表會(Facebook)
- 實習心得記錄 — Jubo AI/DS team Machine Learning Summer Intern — Gi-Luen Huang (Medium)
資料探索與簡單的數據分析
公司有專業的 Data Analyst、Data Scientist，較專業的數據分析會是由他們進行，例如客戶健康度分析、機構住民退房分析…等，因此 PM 的資料探索與數據分析主要是用於探索潛在需求、制定產品策略使用。我們會自行到資料庫撈取數據，自行進行較基礎的數據分析。
這邊可以簡單分享我的經驗。實習期間接到的任務之一，是「將失智症評測的 AI Model 推上線」。當時模型已訓練完成、也已佈署上線，使用方法也很簡單，只要給定一住民 id ，模型就可以評估該住民罹患失智症的風險。
OK，AI Model 已經好了，那上線還能有什麼問題？
我們不知道該怎麼將它變成可用的功能。模型以外的所有事情都還非常模糊－－我們不確定誰需要這個 AI Model，也不知道該怎麼讓使用者和它互動，更不確定這個模型適合什麼樣的商業模式。因此，在執行期間，我就有去撈取資料，分析機構內住民失智症的人數、佔比、分佈…等，藉由數據評估需求，再決定以什麼角度切入才能讓該 AI Model 順利商品化、上線，同時也評估專案是否值得繼續投入資源。
不過除了數據分析這樣量化的分析，我們也會透過使用者訪談、收集二手資料…等質化方式來評估，畢竟 UX 就是 Jubo 的靈魂。
規劃雛型、使用者訪談
承上，除了數據外，我們也會透過使用者訪談了解需求。以長照成本分析為例，我與 UX Designer 就訪談了超過 4 位的潛在使用者，了解照護者的痛點，以及他們對於該AI產品的想法。
透過使用者訪談，甚至透過觀察他們與產品雛形互動的過程，PM 多少就能藉此評估目前產品的狀況，並決定是否要改變產品的進行方向。
在過去的實習中，我很少有訪談的經驗，但在智齡短短的三個月中，我就進行了7次的使用者訪談，從一開始的不熟悉，到後來也漸漸掌握了訪談的節奏與技巧。
制定產品路線圖與指標
上面提到 UX 是 Jubo 的靈魂，那資料科學就是 Jubo 的血肉。因此每樣產品在上線前，都會制定對應的產品指標，供未來追蹤以評定產品成敗。以護理實務會使用到的 Kardex 為例，它最重要的指標應是「交班記錄完整率」，越高就代表產品越成功。如果是生命徵象異常偵測的功能模組，最重要的指標就可能是「住民突發狀況事件數」，越低代表該模組成功替機構及早捕捉了住民的異常狀況。
指標又可依重要程度、關連程度分成數個類型、層次，常見的有：
- North Star Metric：整個產品中大家最關注的指標，與產品成敗有相當直接的關係，例如Spotify的North Star Metric就是用戶收聽時間（Time Spent Listening）。
- Primary Metric：產品如何改變使用者行為，例如常見的活躍用戶數、轉換率
- Supporting Metric：用來旁敲側擊的指標。例如交班記錄完整率無法量化，那麼我們就可以用「字數」、「閱讀時間」等指標來推論交班記錄完整率的變化（當然，這非常仰賴 domain knowledge）
- Guardrail Metrics：追蹤對產品負面影響的程度，例如我們希望AI模型上線後可以減少使用者的操作時間，但並不希望使用頻率下降，這就可以是一種 Guardrail metrics。
值得一提的是，指標是會隨著產品所處的階段而調整，並非一成不變。指標除了可用於判斷成品成效，A/B測試時也可用來評估實驗的成敗。指標對於產品經理來說，可說是相當重要。不過從零開始制定指標對新手（我）來說有一定的難度，實習期間也非常感謝資料科學總監 Peter、產品經理 Jack 的指導，協助我建立指標的概念，也針對我制定的指標給予回饋。
跨部門溝通、資源協調
最後一個，就是跨部門溝通與資源協調。聽起來簡單，身在其中就會知道有關人的事永遠是最複雜困難的。在 Jubo，工程團隊與資料科學團隊算是分開的兩個部門，所以當我們需要前後端資源時，就需要和工程團隊花更多時間在溝通與協調。Business Team 也會因為和客戶的承諾，而必須不斷 push 我們產出 demo、安排工作坊等等，因此我們的資源與排定好的優先級就也會面臨不斷變動的風險。
簡單來說，每個部門資源都有限，且都有各自的優先順序，該如何順利的跨部門溝通，甚至必要時進行協商，以及最後的資源協調，都是我在 Jubo 實習時經常碰到的議題。雖然困難，但也相當有趣。
PM Intern 的一天
我一週上三天班，因此我將這三天濃縮為一天，來展示 PM Intern 的一天給大家～
🕰️ 09:00~12:00
- 盤點工作：首先規劃今天要做的事情，並把 todo list key 到 Google Calendar 上。
- 產品研究：觀察產業新聞、了解市場動態、研讀文獻。
- 大會議：參與每週的公司大會議。會議上各部門會輪流進行月報，其他人則可藉此機會了解其他部門業務。
- 組內例會：每週我們 Team 都會開一場例會，讓大家 sync up 彼此進度。
- 專案例會：每個專案視情況展開週會或是雙週會，會議上大家會匯報進度，同時也會進行討論與發想。
🕰️ 12:00~13:00
- 午休：和同事到公司附近買便當回來吃XD 香菜雞肉飯是我的愛！
🕰️ 13:00~15:00
- 寫規格書：視階段而異，通常是維護規格書的內容，並告知相關人員異動。
- 與工程師溝通：當專案已經進到開發階段，就會需要非常頻繁地與工程人員溝通，例如前端工程師串接有問題、Data Scientist 不確定 API 格式怎麼樣才符合使用需求…等，都是需要協助溝通釐清的地方。
🕰️ 15:00~17:00
- 與主管、產品經理 1 on 1：每週都會和主管、產品經理進行至少一次 1 on 1，我們會聊聊彼此的近況，我也會表達我遇到的困難，尋求相關建議，有時也會詢問職涯。
- 使用者訪談：前面提到使用者訪談對 Jubo 相當重要，因為我們希望打造「真正好用的產品」，因此我便會和 UX 設計師一起進行使用者訪談，從目的出發，了解使用者內心真正的想法，並藉此給予產品 insight。
🕰️ 17:00~18:00
- 工作收尾：我會把今天經歷的事情再盤點一遍，同時記下我的 lesson-learned （我是用Notion來記錄），為下個工作天準備。
我的收獲
在寫這篇文章時，我偶然拜讀了 Weber 在 MoBagel 的實習心得。可能因為碰到的都是AI的產品，因此在收穫方面，有不少心有戚戚焉的地方。有興趣的人也可以參考 Weber 的這篇文章：
- AI 醫療的獨特與難處：如 Weber 在文內所言：「（AI）產品化很不容易」，以我經歷的失智症評測專案為例，原先提案是讓機構可以一鍵評估院內住民失智風險，但訪談後才發現機構沒有很需要這個功能，因為「失智」是件稀鬆平常的事，且失智症不能根治，延緩也需要費相當大的功夫（呼應到 Weber 文內提到的預測到決策還有一段距離）也就是說，儘管預測出高風險，機構也無能為力，頂多只能建議就醫。可是要是聽從AI建議去就醫，卻發現沒有失智症怎麼辦？是否會像放羊的小孩一樣，大家對這個AI 產品就失去信任了？
- 不同成效的AI，有各自適合的呈現方式：這是我從設計團隊學到的事情。當今天 AI 成效非常精準，那麼設計團隊就可以用比較強烈、主導的方式來建議使用者下一步的操作，但若模型還有優化空間，亦或是礙於資料量不足，成效不夠好時，設計團隊就會用比較委婉、隱晦的方式呈現。
- 使用者訪談的價值：我曾聽過一句話：”You are almost always wrong”，言下之意，是身為產品經理，要時刻提醒自己「你所做的每個決定都可能總是錯的」，因此我們會需要訪談來知道使用者真正的想法，不致於做過於錯誤的決定。
- 時辰進展的拿捏：產品上線前做非常多的研究當然很棒，可是時間有限，要是投入太多時間在評估，可能就會錯過大好時機。因此在完成一定程度的研究後，就可以趕快把產品推上線，這樣才能收集到最正確的市場回饋，再繼續迭代出下個版本。很多大公司也是採用這樣的態度，所以你會看到大公司有很多失敗的產品，例如 Google 眼鏡、Google 模組化手機 Project Ara。儘管失敗了，但要知道學習失敗也是一件很重要的事情。At least they know it doesn’t work.
- 應該擁有一份入職計畫：我是 AI/DS Team 的第一位 PM Intern，同時也是第一位 PM（我10月到職，正職產品經理11月到職），以往實習都有同職位的 mentor，這次來到 Jubo 一開始是沒有的，所以這對我來說是個很大的挑戰。
剛入職時我便面臨不知如何開始的窘境，因此前面一個月我可以說是懵懵懂懂、跌跌撞撞走過來的。11月正職產品經理 Jack 加入後，我便觀察他是如何 on board 的。觀察了一陣子後，我便把我的觀察、看到的文章以及個人的想法整合起來，變成一套我之後可以執行的「到職計畫」。這是我最意想不到，卻也是最棒的收穫之一。
若你對未來 Jubo PM Intern 有興趣的話，現在 AI/DS Team 已經有 PM 了，你到職後會有 mentor，且也會有一系列規劃好的進度，不用擔心。
關於入職計畫，有興趣的人可以參閱下面的文章：
* 產品經理加入團隊的正確姿勢 (Peter Su)
* 進入新公司：6件產品經理在入職30天內一定要完成的事情 (產品經理喬)
* 產品經理出海 1000 天：在大型軟體公司的三大觀察與學習 (Peter Su)
總結
在這份實習前，我有過 2 份 PM 實習經驗，因此我原先設想這份實習應該會比較得心應手，沒想到實際上在 Jubo 受到的磨練比先前還要多。這不禁讓我想到達克效應，我以為自己的表現可能算中上，但實際被丟入職場，才發現還有一大截需要努力。
幻想破滅讓人難堪，但認知到這點是好的，因為只有自知愚昧的人才願意持續精進。
關於達克效應，有興趣的人可以參閱下面的文章：
* 達克效應（DK Effect）的美麗錯誤 — — 對無知的無法認知：愚昧之巔、絕望之谷(George Chan)先前的實習心得，有興趣的人可以參閱下面我的文章：
* 實習心得記錄 — PressLogic Assistant Project Management Intern (Felice Hsiao)
過去的一年的實習時光裡（PressLogic、3drens、Jubo)，從專案做到產品，達到了自己的預想，心理很滿足。在產品經理這條路上也遇到很多同好，一起談論職涯與心法的時光也讓我很快樂。
產品經理聽起來光鮮亮麗，但事實上是辛苦的工作，但我還是很喜歡這份工作。我喜歡破除未知，把需求落地，成功解決使用者痛點的成就感，我想這就是產品經理浪漫的地方吧（笑）
最後，非常感謝 AI/DS Team 總監 Peter 讓我有機會到 Jubo 實習，甚至交付專案讓我獨立探索、執行，這樣的授權和發揮空間是我未曾經歷過的，這也讓我的實習更充實、有更多成長！
也非常感謝 Jack，每天都不厭其煩的給我建議，明明很忙卻還任憑我加開 1:1 場次（笑）真的是我生命中的貴人。
最後也要謝謝所有與我共事過的同仁，一起執行成本分析的 Lucy、一起完成疾病風險評估的凱文、不吝給我建議的老爸、丹、Roy 跟Harvey，工程團隊的Liz和凱元、設計團隊的Alu、Sophie 與 Paul、B Team 的 Derek、DTC 的 Lulu、CS Team 的 CN…要謝謝的人真的太多了，希望我的金魚腦沒有漏掉任何一位QQ 最後謝謝你們豐富了我在 Jubo 實習的時光 🤎
