BotBonnie Design Evaluation | Daniel Lee | Product Design Portfolio

BotBonnie

Design Evaluation

Responsibility

Usability Test

Role

UX Researcher

Team

BotBonnie Intern

Period

2020.2

OVERVIEW

我在 BotBonnie 執行了 1 次易用性測試，主要針對初次使用的族群，了解在初次操作平台時是什麼原因阻礙操作，進而形成使用者流失。在這次的測試後，我列出了 9 個待改善的易用性問題，並提供設計改善方法，並由 PM 開成 Story 列入未來開發項目。

INTRODUCTION

BotBonnie 過往若要了解用戶回饋，僅有從客服問題與成功案例訪談中蒐集，並無法針對想要了解的情境進行更深入地挖掘。在數據驅動的公司文化下，老闆對於質性研究的價值持保守態度，因此我提議以輕量化的易用性測試了解某些一直未被解決的問題，究竟還有哪些可能的原因未被發現。這是 BotBonnie 第一次執行易用性測試，而這次的測試經過提案、規劃，與執行三個階段，最終招募兩位受測者，除了想了解新註冊流程的設計有沒有問題以外，也探索如果要改善設計機器人流程的問題，有哪些可能的方式。

RESEARCH PROPOSAL

Business Goal

在 BotBonnie，我們很注重「活躍聊天機器人數」，而在我負責的專案中，則是更注重新註冊的用戶族群，因此從「提升新註冊用戶的活躍機器人數」的主要目標，我拆解出許多 UI/UX 可以嘗試幫助的項目如附圖：

易用性測試作為輔助設計師提升產品好用性的方式，在此目標與架構下，較為直接的影響在於「提升留存率」，而當前的 14 日留存率根據 FB Analytics 的數據，約莫落在 5% 左右。另一個指標為頁面停留時間，根據 Google Analytics 的數據，新用戶停留在編輯流程頁面的時間平均約為 10 分鐘，若在 Moderated 的易用性測試中，量測受完成目標的時間超出 10 分鐘，那麼便代表該任務可能是造成使用者流失的原因。

Research Methods

採用易用性測試作為傳遞質性研究價值的原因，在於：

可以投入較少的研究成本且直接地啟發設計改善
以往每個內部員工在 Onboard 的時候，都會被要求以個人經驗提出介面優化想法，因此以經驗法則評估法（Heuristic Evaluation）進行設計評估，要感受出質性研究價值的挑戰更大
需要透過訪談與觀察了解使用者內心的想法

根據 Nielsen (2000)，每一個類別的使用者只要找 5 位受測者，即可找出該類使用者約 80% 會遇到的易用性問題，而該研究也指出找到 2 位受測者即可找出一半的易用性問題，在同時考量：

以 2 個禮拜為一個週期的 Scrum 開發法
此易用性研究的目的更偏重於「啟發」設計想法

的條件之下，本次易用性測試招募 2 位受測者，對當時 BotBonnie 的狀態來說較為合適，能讓老闆覺得「可以試試看」。

RESEARCH PLANNING

Research Goals

找出新註冊使用者在註冊流程中遭遇哪些易用性問題，以致無法完成註冊
找出新使用者在編寫基礎腳本時遭遇哪些易用性問題，並阻礙機器人發布

Research Questions

新使用者在註冊時對導引文案的理解程度為何？
新使用者在註冊時對 Demo 畫面的感受為何？
新使用者建立腳本連結的邏輯為何？
新使用者如何理解「模組」的概念？

Environment Setting

給受測者操作的電腦，進行螢幕錄影
記錄人員文字記錄用的電腦＋Google Spreadsheet 記錄表格
計時用的手機
腳架＋手機，進行臉部錄影
測試任務紙條
給受測者舒服用的 Muji 懶骨頭，研究人員都做小板凳
BotBonnie 採光不錯的溫馨小會議室

Main Recruitment's Screen Questions

此次易用性測試目的是希望測試新註冊用戶會遭遇的情境，因此我們希望找到：

從未使用過 BotBonnie 平台的人
擁有同類型使用目的的兩位受測者

以下是主要幫助我篩選受測者的問題與問項：

使用 Chatbot 編輯平台的經驗
- 尚無任何經驗
- 正在進行第一個專案
- 已負責/協助過 1～3 個專案
- 已負責/協助過 3 個專案以上
使用 BotBonnie 經驗
- 無
- 有
  - 使用多久了？
  - 是否還在使用？
  - 最近一次使用的方案？
  - BotBonnie 最大的特色為？
(預期)使用聊天機器人的主要目的
- 自動化客服
- 建置會員服務
- 精準推播、再行銷與導購
- 提供預約服務管道
- 應用於行銷 Campaign
- 發放群眾募資相關問卷
- 導流至官方網站
- 其他

Recruiting Channels

根據經驗有許多電商、募資新創會有高度意願以 Chatbot 創造高互動與導流成效，另外社群行銷也是常見的應用方式，因此投放招募問卷的管道，便以此三個方向投放

BotBonnie 官方社團
社群丼
新媒體營銷深度分享會
TeSA 新手/接案社團
Blink 行銷/創業板
Dcard 創客板
嘖嘖集資提案人前哨站

Post-test Questionnaire

在操作結束後，我使用 SUS 問卷來輔助了解受測者對整體系統易用性的感受，在訪談時針對分數進行詮釋。我希望能夠建立 SUS 追蹤體系(如附圖)，以使用者活動作為單位，當易用性測試成為常態後，可以追蹤每次的設計變動是否改善或加劇了某部分活動的易用性問題。

Rewards

為了避免「獎金獵人」太多，同時想找到真正有意願使用 BotBonnie 的人，因此降低受測費的金額，但提供產品標準版功能的一個月試用

星巴克禮券 2 張（價值 340 元）
BotBonnie 一個月贊助版序號（價值 3999 元）
BotBonnie 品牌小禮物

Tasks Design

RESEARCH RESULT

Signup：影響新建機器人比率

在註冊的任務情境中使用了設計原型進行測試，大部分的任務都成功完成，且實際耗時比預期耗時低，代表在易用性層面與學習性層面，並沒有顯著的問題。

Onboarding：影響使用者留存率

在 Onboarding 的任務情境中使用了已上線的產品進行測試。兩位受測者皆完成了所以任務，但實際耗時比預期耗高出許多。由數據可見，兩位受測者的總體耗時都超出 10 分鐘，因此在 unmoderated 的情況下，此類用戶很有可能就成為流失用戶而不會完成所有目標任務。

KEY RESEARCH FINDINGS

以為模組就是訊息

在過往的短訪中，我了解到多數新使用者對於平台內名詞感到陌生，此現象的原因除了「設計聊天機器人」並非常見的設計標的以外，聊天機器人設計平台「並未擁有統一的命名標準」來描述同一操作概念，也顯示了透過文字難以精準表達系統想傳遞的訊息。

「模組」是 BotBonnie 建立腳本流程的最基本單位，使用者在一個模組內可以新增至多 5 則訊息（如文字訊息、圖片訊息等），然而這卻一直是無法被新使用者理解的一個名詞。此次的研究讓我發現，使用者根據自己與聊天機器人互動的經驗，會想透過平台操作「重建此視覺經驗」，因此在平台內的操作邏輯即為「最終對話對話呈現」的邏輯。

在改善的 Onboarding 流程中，平台已經預先根據用戶在註冊流程中輸入的內容建立模組，因此當用戶點擊模組，看見先前輸入的訊息內容時，便認為「模組就是訊息」。