この記事は、The Parallel Universe Magazine 55 号に掲載されている「Trusted TorchServe Using BigDL Privacy-Preserving Machine Learning」の日本語参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。
デプロイメントは、モデルを現実世界のアプリケーションに導入する AI ライフサイクルの重要なステージです。TorchServe は、PyTorch* モデルを効率的かつ柔軟にデプロイするオープンソースのツールです。運用環境では、モデルとユーザーデータの機密性と整合性を重要事項として考慮する必要があります。この記事では、インテル® トラスト・ドメイン・エクステンションズ (インテル® TDX)、コンフィデンシャル・コンテナ (CoCo)、BigDL プライバシー保護マシンラーニング (PPML) 上に構築された、トラスト PyTorch* モデル・サービング・ソリューションを紹介します。これらのテクノロジーは、パフォーマンスのオーバーヘッドを最小限に抑えながら、TorchServe の機密性と整合性を保護します。このソリューションのベスト・プラクティスとして、Jeddak サンドボックスも紹介します。
トラスト TorchServe ソリューション
コンフィデンシャル・コンピューティングは、処理中のデータの保護に重点を置いてセキュリティーとプライバシーを強化する手法です。信頼できる実行環境 (TEE) は、ハードウェア・ベースのセキュリティー機能によりコンピューティング・システム内に分離された環境を作成するコンフィデンシャル・コンピューティングの基本的な構成要素です。最新の第 4 世代インテル® Xeon® スケーラブル・プロセッサーでは、インテル® TDX と呼ばれる特殊な TEE が提供され、トラストドメインと呼ばれる分離された仮想マシン (VM) 内のデータを不正なソフトウェアから保護します。
CoCo (英語) は、ハードウェア TEE、リモート認証、関連ソフトウェア・テクノロジーを利用して、コンテナ化されたワークロードに機密性、整合性、信頼性を提供する Cloud Native Computing Foundation (CNCF) のサンドボックス・プロジェクトです。インテル® TDX コンフィデンシャル・コンテナ・ソリューションは CoCo ベースで、簡単に使用できます。アプリケーション開発者は、変更されていないコンテナイメージをインテル® TDX コンフィデンシャル・コンテナで実行できます。クラスターのオペレーター/管理者は、共通のツールを使用して完全なソリューションをインストールし、Kubernetes* クラスターを管理できます。CoCo は、ランタイムだけでなくストレージやネットワーク上でも機密性の高い高価値のアプリケーション、データ、モデルに対するエンドツーエンドの保護を提供することにより、強力なセキュリティーを保証します (図 1) 。
図 1. インテル® TDX コンフィデンシャル・コンテナ・アーキテクチャー
PPML (英語) は、エンドツーエンドの AI および分析アプリケーションのプライバシーとセキュリティーに対する新しい BigDL (英語) の機能です。インテル® ソフトウェア・ガード・エクステンションズ (インテル® SGX)、インテル® TDX、CoCo などの複数のセキュリティー・テクノロジーを組み合わせることにより、BigDL PPML を使用すると、ユーザーは既存のアプリケーションを変更することなく、ハードウェア保護とエンドツーエンドのセキュリティーを備えた状態で大規模に実行できます (図 2)。
図 2. BigDL PPML アーキテクチャー
インテル® TDX CoCo をベースとし、BigDL PPML を使用して、Kubernetes* クラスターに簡単にデプロイできるトラスト TorchServe ソリューションを構築しました。図 3 のように、次の 3 つの主要コンポーネントから構成されます。
- ロード可能なモデルが存在するモデルストア
- モデルを管理し、リクエストと応答を処理するフロントエンド
- 入力データを処理し、モデル推論を実行し、応答を生成するバックエンド
入出力データとモデルを保護するため、フロントエンドとバックエンドの両方がインテル® TDX CoCo 上で BigDL PPML を使用して実行されます。
図 3. インテル® TDX コンフィデンシャル・コンテナと BigDL PPML 上のトラスト TorchServe
