Air ビジネスツールズ デザインガイドラインチームの柿本です。今回は、Airのサービス開発を担当するデザイナー間で行われている「相互評価会」についてご紹介します。
10人以上のデザイナーがそれぞれ担当サービスを持っている組織で、横断的な知見を共有する取り組みの事例として、デザインマネジメントの参考になれば幸いです。

相互評価会とは？

Air ブランドとして展開している各サービスのデザインリーダーが半期に一度、お互いのデザイン品質を案件単位で評価し合う会です。

取り組みの背景
Air ビジネスツールズは、「Airレジ」「Airペイ」をはじめとしたリクルートの業務・経営支援サービスです。お店の様々な業務コストを軽減する複数のサービスを展開しています。
「Airレジで注文を入力した後、Airペイでクレジットカード決済をする」といったように、アプリケーション同士を連携させることでさらに便利に利用できる設計になっているため、サービス間のユーザー体験の一貫性が重視されています。

とはいえ開発チームはサービスごとに独立しており、デザイナーもそれぞれのチームの中での機能開発に注力しているため、普段の業務時間だけでは担当以外のサービスのキャッチアップをする機会が必ずしも十分ではありません。

以前は各サービスのアウトプット品質が維持できているかを把握するために、1〜2名のガイドライン担当者が一方的に評価を行っていました。
しかし「一方的に評価されるだけでは評価される側には知見が蓄積されない」という意見が挙がったため、昨年度からデザインリーダー全員がレビュアーとなり、互いに評価し合うスタイルに変えて運用しています。

評価のプロセス

前置きが長くなりましたが、具体的にどのような手順で取り組みを行っているのかをご紹介します。

1.案件をエントリーする
各サービスのデザインリーダーが、その半期にリリースした案件の中から１つ選び、以下の情報・書類を添えてエントリーします。

・案件仕様書
・デザインカンプ
・実際の画面を確認可能なテストアカウントのID/パスワード

ちなみに最近行われた2019年度末の評価会では、10種類のサービスから10件のエントリーがありました。

2.アプリケーションを触る

各デザインリーダーは、エントリーされた案件の仕様書などを見ながら、実際にアプリケーションを触ってアウトプット品質のチェックをします。
テストアカウントやQA用のステージング環境であっても、実際のユースケースに近いデータが入った状態で触れるようにしておきます。

3.評価する

仕様把握が終わったら、まずはひとりで評価を行っていきます。自分の担当サービスについてもセルフレビューを行います。
評価には、テキストルールやアピアランス、インタラクション、IA設計などアウトプット品質に関わる観点を13項目に分けてリストアップしたチェックシートを用います。

◯　問題なし
●　対象箇所なし（評価するべき点がなかった）
△　微細な点（ユーザーが気にしないレベル）で気になるところあり
×　問題あり

各項目に対して、上記4段階の評点をつけていきます。「△」や「×」をつけた項目は、その理由をコメント欄に記載します。

4.評価をすり合わせる

各メンバーによる評価が出揃ったら、それらを並べてすり合わせるミーティングを開催します。ここでは特に、メンバー間で評価が分かれた項目を重点的に議論し、総評をまとめていきます。

全項目がグループメンバー間ですり合ったら、それを最終評価とします。

5.各チームへのフィードバック
評価結果は、デザインリーダーを通してそれぞれの開発チームへフィードバックされ、指摘内容は必要に応じてバックログ（開発案件のストックリスト）に登録されます。また、デザインガイドラインに新たにルールを明文化してほしいという要望が評価の中にあれば、そちらはガイドラインチームへフィードバックされます。

参加したメンバーからは
「各チームでも横断的視点、一貫性に対するリテラシを持つきっかけになった」「他のサービスと相対化することで、自分の担当サービスを客観的に見ることができた」「それぞれに違った強みを持つデザイナーが多面的な視点で評価しているため、評価結果にも納得感がある」といったポジティブな意見が多く挙がっています。
一方で率直に「負担が大きい。疲れた」「時間がかかる」という声もありました。今後はよりスマートな運用と、リーダー以外のメンバーも参加するスキームに育てていきたいです。