MTGアリーナ５周年記念ウィークに発生した問題について

Chris Kiritz,Ben Smith

2023年9月28日

原文はこちら

　MTGアリーナ・プレイヤーの皆さん、こんにちは。

　先日のMTGアリーナ５周年記念ウィークは、私たちの計画通りにはいきませんでした。私たちはこのゲームの５周年を盛大にお祝いする予定でしたが、それは果たせなかったのです。そこでこの場をお借りして、皆さんにお詫びを申し上げます。後段にて今回の経緯についてもお話ししますが、プレイヤーの皆さんの体験が損ねられているときに、舞台裏で何が起こっていたのかなど皆さんは気にしないでしょう。皆さんは「いつ改善されるのか」を知りたいはずです。なので、まずはその話から始めましょう。

　率直に申し上げますと、私たちは対処を続けており、正式なタイムラインはまだ定まっていません。ゲームの大部分は正常に機能していますが、まだ問題が発生しており対処中の部分もあります。毎日たくさんの方にプレイしていただいているゲームの管理者として、これが十分な回答になっていないことは承知しています。しかしながら、それが現時点での状況であり、これ以上お答えできないことを申し訳なく思います。

　ゲームの大部分が正常に機能しているのは良いことですが（私たちが改善した部分については後段にてお伝えしています）、まだ迷い込んだ森から完全に抜けられたわけではありませんので、私たちは慎重に歩みを進めています。現在の状況は以下の通りです：

一時プレイできなくなっていたプレミア・ドラフトは、現在正常に稼働中です。今回の問題によって影響を受けたプレイヤーの皆さんには、メッセージをお送りしています。見落としがあるのではないかというご意見も寄せられているため、その検証を進める予定ですが……
現在、先日発生した問題に対処するためプレイヤー受信箱の機能を停止しています。これにともない、記念のメッセージも数日分配信を停止しています。システムが正常に機能していることが確認でき次第、改めて送信します。
現在システムは安定していますが、短時間の障害が発生したことも確認しています。とはいえこれは偶発的なものであり、私たちが取り組んでいる核心的な問題とは関係がないと考えています。ですがこれが私たちの調査を複雑なものにしたことも事実です。

　次なる一手として、私たちは引き続きこの問題を生み出している根本的な部分への対処と修正に取り組んでいきます。すでにいくつかの修正を行っており症状は和らげられていますが、まだ完治には至っていません。これ以上予想外の障害が発生することはないと見ていますが、私たちは万が一に備えて厳戒態勢を維持しています。

　これから数週間にわたり、問題の解決策を見出しながらさらなる修正を加えていく必要があります。更新は通常のプロセス内で行う予定ですが、システム全体の停止が必要になる可能性もあります。

　そしてシステム全体が正常に機能していると私たちが判断したら、停止している部分を再開し、再びすべての機能をお楽しみいただけるようになります。皆さんの日頃のサポートに心から感謝申し上げます。皆さんに最高のトップデッキが舞い込みますように。

クリス・キリッツ/Chris Kiritz

マジック・デジタル部門エグゼクティブ・プロデューサー

　……もっと詳しく知りたいから残った？わかりました。では幕を少しだけ戻して、今回の経緯をお話ししましょう。まずは私たちの更新手順からです。（ここで『スクールハウス・ロック！』のBGM。）

今回の経緯

　私たちのゲーム更新はまず、ソフトウェアエンジニアのマシンから始まります。私たちが問題を抱えていたり、何か必要としていたりする場合、彼らはその問題や必要なものを解決するコードを作成してくれます。対応するエンジニアは１人だったりチームだったりしますが、基本的なプロセスは同じです。

　ソフトウェアエンジニアの仕事が完了し基礎テストを行ったら、その変更をどのタイミングで反映させるか決めます。簡単なものや一刻を争うものは数週間で反映させます。その他のものは、より広範なテストを必要としたり、リスクが高かったり、先に他の変更を反映させる必要があったりします。そちらは、数か月先の更新で反映されることになるでしょう。

　さて反映させるタイミングが決まったら、QAチームが手動自動問わずさまざまなテストを行います。ここではその変更点に関する個別のテストと、その変更がゲームの他の部分に影響を与えないか確認するためのより全般的なテストが行われます。更新のリリース日が近づくにつれて、想定されるハードルは上がっていきます。２か月先の更新に変更を加えるのと比べ、２週間後の更新に変更を加えるのは難しいのです。

「P0 Live Team」は、Priority 1（優先度１）よりも優先される重大案件「Priority 0」の問題を解決するためのベストメンバーを揃えた、機動部隊です。

　更新がリリースされる数週間前には内容が確定し、AppleやGoogleのような配信パートナーの審査のために提出する準備段階でそれ以上の変更が行われることはありません。

　そしてリリース当日に更新データを配信し、プレイヤーの皆さんが徐々に旧バージョンから新バージョンのMTGアリーナへ移行していきます。皆さんのもとには最新バージョンへの更新を促すお知らせが送信されます。万事問題なしなら、その更新に関わる作業は完了ということになります。

　9月19日に、私たちは通常のメンテナンスの一環としてデータベース・サービスの更新を行いました。これは皆さんが最新の機能やセキュリティ上の更新を受けられるよう、スマートフォンのOSを最新の状態に保つような内容です。データベースのような主要なシステムを取り扱う際は常に慎重に取り組んでいるため、この作業も３月には完了し、機能のテストや負荷テストのため、あるいは日々の仕事に役立つものが出てこないか探るため、社内環境に展開しました。それから数か月にわたる社内運用と安定化作業を経て、私たちは自信をもって本番環境にリリースできると感じました。

　しかし残念ながら、本番環境では私たちが期待していた挙動を示さず、さまざまなシステムメッセージのパフォーマンスが低下していたことがリリース後に発覚しました。それはゲームの大部分で目立たないものでしたが、プレミア・ドラフトにはそのパフォーマンス低下が大きな影響を与えていました。この問題が発覚したのちに、私たちはプレミア・ドラフトを停止し、「Priority Zero Live Team」（「P0 Live Team」）が対応にあたりました。「P0 Live Team」は、Priority 1（優先度１）よりも優先される重大案件「Priority 0」の問題を解決するためのベストメンバーを揃えた、機動部隊です。

ベン・スミスによるプレミア・ドラフトについての説明

　このたびのプレミア・ドラフトに関する問題に「P0 Live Team」の中心メンバーとして対応にあたったのが、プレミア・ドラフトのシステムを構築したシニア・ソフトウェアエンジニアのベン・スミス/Ben Smithです。そこでこの項目は、彼に譲ろうと思います。

　現在ゲームに実装されているプレミア・ドラフトのシステム製作者であり熱心なドラフト・プレイヤーの１人として、私はドラフトにおいて発生する問題に特に注目しています。ドラフトは私が最も多くプレイするフォーマットであり、良好なプレイヤー体験は私自身にとっても大切なのです（私はプレミア・ドラフトの長でありながら、顧客でもあるのです）。プレミア・ドラフトが再び稼働した今、この場をお借りしてプレミア・ドラフトに何が起きたのかとその状況にどのように対処したのか、お話ししたいと思います。

　プレミア・ドラフトのシステムを構築する中で私たちが最優先で取り組んだことの１つが、プレイヤーの選択を保護することでした。受信に成功したドラフト・ピックはすべて即座にデータベースに書き込まれ、万が一サーバーがクラッシュしてもプレイヤーのピックは失われません。一般的なベストプラクティスの感覚から、これは正しいことだと思われました。データを失うのは悪い体験ですよね？なら保護しましょう。

　そして先週（原文掲載時）、データベースのパフォーマンスに予想外の問題が突然発生しました。将来参照できるようプレイヤーの選択を記録するデータベースへの書き込みに大幅な遅れが生じ、私たちのサービスが影響を受けたのです。舞台裏では、エンジニア総出でこの問題の調査と診断に奔走しました。待ち時間の長さが目立つものの、システムの大部分は通常通り機能していました。ですがプレミア・ドラフトへの影響が壊滅的だったのです。

　プレイヤーのピックの処理がほぼ停止された状態になり、カードのピックがタイマーの時間切れ後になるなど、ひどい渋滞を引き起こしました。ピックは滞り、カードプールはオートピックのるつぼとなり、犬と猫が共存し、集団ヒステリーが巻き起こったのです！皆さんがピックしたカードが失われたり、次のパックがいつまでも届かなかったり、ドラフトピック画面が動かなかったりと、まさに悪夢のような地獄絵図を皆さんに体験させるわけにはいきませんでした。プレミア・ドラフトは私たちが問題を解決するまでオフラインにせざるを得なかったのです。

　データベースの問題が長引いたため、私たちはパフォーマンスが低下した状態でもドラフトの安定性を高める選択肢を模索し始めました。それは、「全プレイヤーの全ピックをデータベースに書き込む必要はあるのだろうか？」という、これまでの前提を覆すような挑戦でした。結局のところ、ドラフトのデータが必要なのは、ピックが終わるまでのわずかな間だけです。そのデータで一体何をするのでしょう？

　保存されたドラフトのデータが使われるのは、サーバークラッシュから復旧する場合だけです。ドラフト中に障害が起きた際は、その卓のプレイヤーが１人戻ってきたときに再度データが読み込まれ、そこからドラフトが再開します。その時点で他の７人が戻ってきている保証はないため、最も大きな影響を受けたプレイヤーはオートピックされた後に戻ってくることになるでしょう。そのプレイヤーのドラフト体験は、不満を残すものになるに違いありません（それも当然のことです）。

　私たちは自問しました。「私たちはなぜこのシナリオを支持しているのか？」と。過去２年以上にわたり、ドラフト関連のサーバーがクラッシュするという恐ろしい出来事は起きていません。私自身も熱心なドラフト・プレイヤーの一員として、オートピック済みのドラフトに戻って補償請求の手間をかけるくらいなら、改めてドラフトを始め、妨げられることなく新しいカードをピックしていく方がずっと良いです。

　プレミア・ドラフトのデータベース・サポートは、極めてまれに発生する問題に望ましくない形で対応するためだけに存在していました。そのため私たちは、そのサポートを完全に取り除くことを選択しました。頻繁にデータベースへの書き込みを行う機能を削除した結果、プレミア・ドラフトはデータベースのパフォーマンスに問題が発生した際に影響を受けにくくなりました。サーバーのクラッシュによって中断されたドラフトに復帰した場合は、補償請求の必要なく、同じイベントで新たにドラフトを始められます。

　誤解のないように付け加えますと、プレミア・ドラフトに関連するサーバーがクラッシュすることは極めてまれですが、ネットワークの問題や接続切れによって、プレイヤーの皆さんのドラフト体験が影響を受けることは今後もあります。その場合はドラフトは正常に行われているもののプレイヤー側が接続できていないため、戻ってきたらオートピック済みということはあり得ます。

　こうして新たなドラフト・コードを導入したことで、プレミア・ドラフトが万が一クラッシュしてもより優れたプレイヤー体験をご提供できるようになったと思います。

　指導的役割を担うチームの一員として、私もしばしば「P0 Live Team」に入ることがありますが、このチームが困難に立ち向かう姿にはいつも感服しています。もちろんプレイヤーの皆さんが問題に遭遇しないことを望んでいますが、問題を即座に解決するための準備が必要であることを私たちは認識しています。皆さんの方を向いた解決策を探りながら直接的、積極的にコミュニケーションが取れる信頼の置けるチームを用意することが、MTGアリーナのようなゲームをうまく運営するために欠かせない要素なのです。

　ここまで読んでくださった皆さんにとって、この記事が興味深いか、有益なものであったか、あるいはその両方であったなら幸いです。改めまして、世界最高のコミュニティの一員である皆さんに感謝を申し上げます。次に私が筆をとるときが、大きな問題への対応についての話でないことを願います。

Good luck and have fun,
Chris