この日本語マニュアルは、https://docs.openvino.ai/2024/home.html (英語) で公開されている「OpenVINO 2024.3 ドキュメント」(2024/8/1 時点) をインテル社の許可を得て iSUS (IA Software User Society) が翻訳した参考訳です。原文は更新される可能性があります。原文と翻訳文の内容が異なる場合は原文を優先してください。 本ドキュメント内で使用されている製品名は正式名称ではありません。正式名称については各社のページをご確認ください。また、用語や表記など、インテル社のスタイル・ガイドラインに沿っていない可能性があることを予めご了承ください。本ドキュメントには一部英語のページが残っています。 OpenVINO 2024.3# OpenVINO は、クラウドからエッジまでディープラーニング・モデルを最適化および展開するためのオープンソース・ツールキットです。PyTorch、TensorFlow、ONNX などの一般的なフレームワークのモデルを使用して、生成 AI、ビデオ、オーディオ、言語などさまざまなユースケースにわたってディープラーニング推論を加速します。モデルを変換および最適化し、オンプレミスとデバイス上、ブラウザー内またはクラウド内のさまざまなインテル® ハードウェアと環境にデプロイします。 クイックスタート・ガイド [PDF] (英語) をご覧ください。 Hugging Face 上の OpenVINO モデル！ 事前に最適化された OpenVINO モデルを入手してください。変換の必要はありません !Hugging Face にアクセス (英語) 新しい生成 AI API わずか数行のコードで LLM を使用してテキストを生成します !ガイドをご覧ください モデルサービスの改善 OpenVINO モデルサーバーでは並列推論が改善されました !さらに詳しく PyTorch 2.0 torch.compile() 経由の OpenVINO PyTorch ネイティブ・アプリケーションで OpenVINO を直接使用しましょう !さらに詳しく ここから開始# インストール このガイドでは、OpenVINO™ ツールキットのインストールおよび学習資料を紹介します。 はじめに パフォーマンス・ベンチマーク OpenVINO と OpenVINO モデルサーバーの最新のベンチマーク値を確認します。 データを表示 フレームワークぼ互換性 モデルを直接ロードするか (TensorFlow、ONNX、PaddlePaddle の場合)、OpenVINO 形式に変換します。 モデルのロード 簡単なデプロイ わずか数行のコードで開始できます。 推論の実行 スケールするサービング マイクロサービス・アプリケーション向けのクラウド対応のデプロイ。 試してみましょう モデル圧縮 NNCF によるトレーニング後およびトレーニング時間の圧縮でパフォーマンスを向上させます。 今すぐ最適化 主な機能# モデル圧縮 OpenVINO ランタイムに直接リンクして推論をローカルで実行することも、OpenVINO モデルサーバーを使用して別のサーバーや Kubernetes 環境からモデル推論を提供することもできます。 高速でスケーラブルなデプロイ アプリケーションを一度作成すれば、どこにでもデプロイでき、ハードウェアから最大限のパフォーマンスを引き出すことができます。自動デバイス検出により、導入の柔軟性を高めます。OpenVINO ランタイムは、Linux*、Windows*、macOS* をサポートし、Python、C++、C API を提供します。使いやすい言語と OS を使用できます。 より軽量なデプロイ 外部依存関係を最小限にするように設計されているため、アプリケーションのフットプリントが削減され、インストールと依存関係の管理が容易です。一般的なパッケージ・マネージャーを使用して、アプリケーションの依存関係を容易にインストールおよびアップグレードできます。特定のモデルをカスタムコンパイルすることで、最終的なバイナリーサイズはさらに小さくなります。 アプリケーションの起動時間を短縮 高速起動が必要なアプリケーションでは、OpenVINO は最初の推論には CPU を使用し、モデルがコンパイルされメモリーにロードされると別のデバイスに切り替えます。コンパイルされたモデルはキャッシュされ、起動時間がさらに短縮されます。