アノテーション・コンバーター

アノテーション・コンバーターは、アノテーション・ファイルをメトリックの評価形式に適したものに変換する機能です。各アノテーション・コンバーターは、元のデータセットに依存する特定のアノテーション・ファイル形式またはデータ構造を想定しています。精度チェッカーでデータ形式のコンバーターがサポートされていない場合、独自のアノテーション・コンバーターを提供できます。各アノテーション・コンバーターには、構成に使用できるパラメーターがあります。

変換プロセスは 2 つの方法で実装できます:

• 設定ファイルによって

• コマンドラインによって

設定ファイルにアノテーション変換を記述

アノテーション・コンバーターを構成ファイルの dataset セクションで提供して、各評価の前にインプレースで注釈を変換できます。各変換設定には、選択したコンバーター名を入力した converter フィールドが含まれ、コンバーター固有のパラメーターを提供する必要があります (サポートされるコンバーターのセクションで詳細を参照)。コマンドラインですべてのパスに -s, --source 引数をプリフィクスとして付けることができます。

さらに、次のようなオプションのパラメーターを使用できます:

• Subsample_size - データセットのサブサンプル・サイズ。グラウンド・トゥルース・オブジェクトの数またはデータセットの比率をパーセンテージで指定できます。一部のデータセットはサブサンプリングをサポートしていないため、このオプションの使用には注意してください。特定のランダムシードを使用してサブサンプルを生成する場合、subsample_seed を指定することもできます。

• Annotation - 変換されたアノテーションの pickle ファイルを保存するパス。後続の変換を避けるため、変換されたアノテーションを再利用するには、このパラメーターを使用できます。

• Dataset_meta - 変換されたアノテーションに関するメタ情報が提供されている場合、それを保存するためのパス。

• Analyze_dataset - 変換されたデータセットに関する統計を取得するフラグ。サポートされるアノテーション: ClassificationAnnotation、DetectionAnnotation、MultiLabelRecognitionAnnotation、RegressionAnnotation。デフォルトは False です。

使用例:

 Annotation_conversion::: 
    # Converter name which will be called for conversion. 
    Converter::   sample 
    # Converter specific parameters, can be different depend on converter realization. 
    data_dir: sample/sample_dataset 
  # (Optional) subsample generation.Can be also used with prepared annotation file. subsample_size: 1000 
  # (Optional) paths to store annotation files for following usage.In the next evaluation these files will be directly used instead running conversion. 
  annotation: sample_dataset.pickle 
  dataset_meta: sample_dataset.json

コマンドラインを介した対話プロセス

アノテーション変換のコマンドラインは次のようになります:

convert_annotation <converter_name> <converter_specific parameters>

すべてのコンバーター固有のオプションは、--<parameter_name> <parameter_value> 形式にする必要があります。コマンドライン・オプションの完全なリストについては、-h, --help を参照できます。オプションの引数には次のようなものがあります:

• -o、--output_dir - 変換されたアノテーションとメタ情報を保存するディレクトリー。

• -a、--annotation_name - アノテーション・ファイル名。

• -m、--meta_name - メタ情報ファイル名。

サポートされるコンバーター

精度チェッカーは、次のアノテーション・コンバーターのリストと、それらに固有のパラメーターをサポートします:

• cifar - CIFAR 分類データセットを ClassificationAnnotation に変換します:

  • data_batch_file - データセットのバッチ (例: test_batch) を含む pickle ファイルへのパス。

  • batch_meta_file - ラベル名を含む pickle ファイルへのパス (batches.meta など)。

  • has_background - 元のラベルに背景ラベルを追加できます (オプション、デフォルト値は False)。

  • convert_images - 画像を pickle ファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。

  • converted_images_dir - 変換された画像の場所へのパス。

  • num_classes - データセット内のクラス数 - 10 または 100 (オプション、デフォルトは 10)

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• mnist - 手書き数字認識用の MNIST データセットを ClaassificationAnnotation に変換します。データセットはこちら からダウンロードできます。

  • labels_file - ラベルを含むバイナリーファイル。

  • images_file - 画像を含むバイナリーファイル。

  • convert_images - 画像をデータファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。

  • converted_images_dir - convert_images が有効な場合、変換された画像の場所へのパス。

  • dataset_meta_file - データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• mnist_csv - csv 形式で保存された手書き数字認識用の MNIST データセットを ClassificationAnnotation に変換します。

  • annotation_file - csv 形式のデータセット・ファイルへのパス。

  • convert_images - 画像をアノテーション・ファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。

  • converted_images_dir - convert_images が有効な場合、変換された画像の場所へのパス。

  • dataset_meta_file - データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• fashion_mnist - Fashion-MNIST データセットを ClassificationAnnotation に変換します。

  • annotation_file - バイナリー形式のラベルファイルへのパス。

  • data_file - バイナリー形式の画像ファイルへのパス。

  • convert_images - 画像をデータファイルからユーザー指定のディレクトリーに変換できます (デフォルト値は False)。

  • converted_images_dir - convert_images が有効な場合、変換された画像の場所へのパス。

  • dataset_meta_file - データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• imagenet - 画像分類タスク用の ImageNet データセットを ClassificationAnnotation に変換します。

  • annotation_file - txt 形式のアノテーションへのパス。

  • labels_file - ラベルの単語記述を含むファイルへのパス (synset_words)。

  • has_background - 元のラベルに背景ラベルを追加し、1000 クラスではなく 1001 クラスのデータセットを変換できます (デフォルト値は False)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• voc_detection - 検出タスクの Pascal VOC アノテーションを DetectionAnnotation に変換します。

  • imageset_file - 検証画像リストを含むファイルへのパス。

  • annotations_dir - アノテーション・ファイルのあるディレクトリーへのパス。

  • images_dir - devkit ルートに関連する画像が含まれるディレクトリーへのパス (デフォルトは JPEGImages)。

  • has_background - background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは true です)

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• voc_segmentation - セマンティック・セグメント化タスクの Pascal VOC アノテーションを SegmentationAnnotation に変換します。

  • imageset_file - 検証画像リストを含むファイルへのパス。

  • images_dir - devkit ルートに関連する画像が含まれるディレクトリーへのパス (デフォルトは JPEGImages)。

  • mask_dir - devkit ルート (デフォルトの SegmentationClass) に関連するグラウンド・トゥルース・セグメント化マスクを含むディレクトリーへのパス。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。注: OpenVINO 2020.4 以降、コンバーターの動作が変更されました。データセットの data_source パラメーターには画像のみのディレクトリーが含まれている必要があります。別の場所にセグメント化マスクがある場合は、マスクの場所を指定するため segmentation_masks_source を使用してください。

• mscoco_detection - オブジェクト検出タスク用の MS COCO データセットを DetectionAnnotation に変換します。

  • annotation_file - json 形式のアノテーション・ファイルへのパス。

  • has_background - background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。

  • use_full_label_map - 公開されている (80 カテゴリー) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。

  • sort_annotations - 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。

  • sort_key - アノテーションを並べ替えるキー (サポートされているキーは image_id と image_size でデフォルトは image_id)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

  • convert_COCO_to_VOC_labels - COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。

• mscoco_segmentation - オブジェクトのインスタンス・セグメント化タスクの MS COCO データセットを CocoInstanceSegmentationAnnotation に変換します。

  • annotation_file - json 形式のアノテーション・ファイルへのパス。

  • has_background - background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。

  • use_full_label_map - 公開されている (80 カテゴリー) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。

  • sort_annotations - 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。

  • sort_key - アノテーションを並べ替えるキー (サポートされているキーは image_id と image_size でデフォルトは image_id)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

  • semantic_only - MS COCO データセットのアノテーションを SegmentationAnnotation に変換します。(オプション、デフォルト値は False)

  • masks_dir - semantic_only モードでセグメント化マスクを保存するパス

  • convert_COCO_to_VOC_labels - COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。

• mscoco_mask_rcnn - MS COCO データセットを、それぞれ detection_annotation と segmentation_annotation という名前の DetectionAnnotation と CocoInstanceSegmentationAnnotation を使用して ContainerAnnotation に変換します。

  • annotation_file - json 形式のアノテーション・ファイルへのパス。

  • has_background - background_label を追加あり/なしでデータセットを変換できます。受け入れられる値は True または False です。(デフォルトは False です)。

  • use_full_label_map - 公開されている (80 カテゴリー) の代わりに、論文のオリジナルのラベルマップ (91 のオブジェクト・カテゴリーを含む) を使用できます。

  • sort_annotations - 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。

  • sort_key - アノテーションを並べ替えるキー (サポートされているキーは image_id と image_size でデフォルトは image_id)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

  • convert_COCO_to_VOC_labels - COCO ラベルを Pascal VOC ラベルに変換できます。(オプション、デフォルト値は False)。

• mscoco_keypoints - キーポイントのローカリゼーション・タスク用の MS COCO データセットを PoseEstimationAnnotation に変換します。

  • annotation_file - json 形式のアノテーション・ファイルへのパス。

  • sort_annotations - 画像 id の昇順または画像サイズの昇順など、特定の順序でアノテーションを保存できます。

  • sort_key - アノテーションを並べ替えるキー (サポートされているキーは image_id と image_size でデフォルトは image_id)。

  • remove_empty_images - オブジェクトのない画像をデータセットから除外またはデータセットに含めることができます。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• wider - Wider Face データセットから DetectionAnnotation に変換します。

  • annotation_file - WiderFace データセット形式のグラウンド・トゥルース・データが含まれる txt ファイルへのパス。

  • label_start - ラベルマップ内の面ラベル・インデックスを指定します。デフォルト値は 1 です。ネットワークが顔の他のクラスを予測する場合に備えて、このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• detection_opencv_storage - Detection OpenCV ストレージ形式で保存されている検出アノテーションを DetectionAnnotation に変換します。

  • annotation_file - XML 形式のアノテーションへのパス。

  • image_names_file - データセットの画像名のリストを含む txt ファイルへのパス。

  • label_start - ラベルマップ内のラベル・インデックスの開始を指定します。デフォルト値は 1 です。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。

  • background_label - 背景ラベルに使用するインデックスを指定します。データセットに背景ラベルがない場合は、このパラメーターを指定できません。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• cityscapes - CityScapes データセットを SegmentationAnnotation に変換します。

  • dataset_root_dir - データセットのルートへのパス

  • images_subfolder - データセットのルートから検証画像のあるディレクトリーへのパス (オプション、デフォルトの imgsFine/leftImg8bit/val)。

  • masks_subfolder - データセットのルートからグラウンド・トゥルース・マスクを使用したディレクトリーへのパス (オプション、gtFine/val)。

  • masks_suffix - マスクファイル名のサフィックス (オプション、デフォルトは _gtFine_labelTrainIds)。

  • images_suffix - 画像ファイル名のサフィックス (デフォルト: _leftImg8bit)。

  • use_full_label_map - 18 クラスのトレーニング・ラベル・マップの代わりに、33 クラスの完全なラベルマップを使用できます (オプション、デフォルトは False)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• mapillary_20 - 20 クラスを含む Mapillary データセットを SegmentationAnnotation に変換します。

  • data_dir - データセット・ルート・フォルダーへのパス。画像およびマスク・ディレクトリーへの相対パスは、それぞれ imgs および masks として決定されます。画像とマスクがデフォルト以外のディレクトリーにある場合は、以下で説明するパラメーターを使用できます。

  • images_dir - 画像フォルダーへのパス。

  • mask_dir - グラウンド・トゥルース・マスク・フォルダーへのパス。

  • images_subfolder - 画像のサブディレクトリー (オプション、デフォルトは imgs)。

  • mask_subfolder - グラウンド・トゥルース・マスクのサブディレクトリー (オプション、デフォルトは masks)

• mapillary_vistas - 20 クラスを含む Mapillary Vistas データセットを SegmentationAnnotation に変換します。

  • data_dir - データセット・ルート・フォルダーへのパス。画像およびマスク・ディレクトリーへの相対パスは、それぞれ images および labels として決定されます。画像とマスクがデフォルト以外のディレクトリーにある場合は、以下で説明するパラメーターを使用できます。

  • images_dir - 画像フォルダーへのパス。

  • mask_dir - グラウンド・トゥルース・マスク・フォルダーへのパス。

  • images_subfolder - 画像のサブディレクトリー (オプション、デフォルトは images)。

  • mask_subfolder - グラウンド・トゥルース・マスクのサブディレクトリー (オプション、デフォルトは labels)

• vgg_face - 顔のランドマーク回帰タスクの VGG Face 2 データセットを FacialLandmarksAnnotation に変換します。

  • landmarks_csv_file - ランドマーク・ポイントの座標を含む CSV ファイルへのパス。

  • bbox_csv_file - 面の境界ボックス座標を含む CVS ファイルへのパス (オプションのパラメーター)。

• lfw - 顔の再識別のためワイルド・データセット内のラベル付きの顔を ReidentificationClassificationAnnotation に変換します。

  • pairs_file - アノテーションの正と負のペアを含むファイルへのパス。

  • train_file - ネットワーク・トレインに使用されるアノテーションの正と負のペアを含むファイルへのパス (オプションのパラメーター)。

  • landmarks_file - アノテーション画像の顔のランドマーク座標を含むファイルへのパス (オプションのパラメーター)。

  • extension - 画像の拡張子 (オプション、デフォルトは jpg)。

• face_recognition_bin - バイナリー形式で保存されている前処理された顔認識データセットを ReidentificationClassificationAnnotation に変換します。

  • bin_file - データセットを含むファイル。データセットの例はここにあります。

  • images_dir - 変換されたイメージを保存するディレクトリー (オプション、convert_images が有効な場合にのみ使用されます。指定されていない場合は、<dataset_root>/converted_images が使用されます)

  • convert_images - 画像をデコードして保存できます。

• mars - MARS の人物再識別データセットを ReidentificationAnnotation に変換します。

  • data_dir - データ・ディレクトリーへのパス。ギャラリー (bbox_test) と query サブディレクトリーが配置されます。

• market1501_reid - Market1501 個人識別データセットを ReidentificationAnnotation に変換します。

  • data_dir - データ・ディレクトリーへのパス。ギャラリー (bounding_box_test) と query サブディレクトリーが配置されます。

• veri776_reid - VeRi 776 車両再識別データセットを ReidentificationAnnotation に変換します。

  • data_dir - データ・ディレクトリーへのパス。ギャラリー (image_test) と image_query サブディレクトリーが配置されます。

• image_processing - 一般的な単一画像処理タスク (画像ノイズ除去、スタイル転送など) のデータセットを ImageProcessingAnnotation に変換します。このコンバーターは、特定の入力画像に対して生成されたモデル出力をターゲット画像と比較するタスクに適しています。

  • data_dir - 低解像度および高解像度の画像が配置されているフォルダーへのパス。

  • input_suffix - 入力ファイル名のサフィックス (デフォルトは in)。

  • target_suffix - ターゲットのグラウンド・トゥルース・ファイル名のサフィックス (デフォルトは out)。

  • recursive - data_dir サブカタログからデータセット・ファイルの取得を有効にします (デフォルトは false)。

  • annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow (オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

• image_generation - 画像生成用のデータセットをノイズから ImageProcessingAnnotation に変換します、

  • data_dir - データセットのルート・ディレクトリー。事前生成された入力シーケンスがサブディレクトリーに配置されます。

  • input_subdirectories - 入力データの相対パスのリスト。モデルに複数の入力がある場合、各入力のデータは個別のディレクトリーに配置される必要があります。

  • reference_dir - 参照データのあるディレクトリー。annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow (オプション、デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

• parametric_image_processing - 結果を得るのに可変条件が必要な画像処理用のデータセットを ImageProcessingAnnotation に変換します。パラメーターは、_ 区切り文字を使用し、参照イメージ名の浮動小数点値として提供されます。

  • input_dir - 入力画像のあるディレクトリー。

  • reference_dir - 参照イメージのあるディレクトリー。

  • annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow (オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

  • param_scale - パラメーターのマルチプレイヤー (オプション、デフォルトは 0.001)。

• super_resolution - 単一画像の超解像度タスクのデータセットを SuperResolutionAnnotation に変換します。

  • data_dir - 低解像度および高解像度の画像が配置されているフォルダーへのパス。

  • lr_dir - 低解像度の画像が配置されているディレクトリーへのパス。

  • hr_dir - 高解像度の画像が配置されているディレクトリーへのパス。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスを提供するため additional_data_source を使用してください。

  • upsampled_dir - 2 つのストリームが使用されている場合、アップサンプリングされた画像が配置されるディレクトリーへのパス。

  • ignore_suffixes - 数値 ID (オプション、デフォルトは false) を使用して、サフィックスなしで、異なるディレクトリーにある低解像度画像と高解像度画像を照合します。

  • lr_suffix - 低解像度ファイル名のサフィックス (デフォルトは lr)。

  • hr_suffix - 高解像度ファイル名のサフィックス (デフォルトは hr)。

  • annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow、pillow_rgb (RGB 形式への明示的なデータ変換用)、dicom、skimage。(オプション、デフォルト値は pillow) 画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

  • two_streams - 2 つの入力ストリームを有効にします。通常、最初は元の画像用、2 番目はアップサンプリングされた画像用です。(オプション、デフォルト値は False)。

  • upsample_suffix - アップサンプル画像ファイル名のサフィックス (デフォルトは upsample)。

• super_resolution_dir_based - 単一画像の超解像度タスクのデータセットを、ディレクトリー・ベースの構造を持つ SuperResolutionAnnotation に変換します (高解像度画像と低解像度画像は別々のディレクトリーに配置され、名前または数値 ID でマッチします)。このコンバーターと super_resolution の主な違いは、データ構成です。すべての高解像度画像と低解像度画像が同じディレクトリーにあり、サフィックスが異なる場合は、super_resolution コンバーターを使用する必要があります。

  • annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow、pillow_rgb (RGB 形式への明示的なデータ変換用)、dicom、skimage。(オプション、デフォルト値は pillow) 画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

  • two_streams - 2 つの入力ストリームを有効にします。通常、最初は元の画像用、2 番目はアップサンプリングされた画像用です。(オプション、デフォルト値は False)。

  • images_dir - データセット・ルートへのパス。低解像度と高解像度のディレクトリーが配置されます。

  • lr_dir - 低解像度の画像が配置されているディレクトリーへのパス (オプション、デフォルトは <images_dir>/LR)。

  • hr_dir - 高解像度の画像が配置されているディレクトリーへのパス (オプション、デフォルトは <images_dir>/HR)。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスを提供するため additional_data_source を使用してください。

  • upsampled_dir - 2 つのストリームが使用されている場合、アップサンプリングされた画像が配置されるディレクトリーへのパス (オプション、デフォルトは <images_dir>/upsample)。

  • relaxed_names - 数値 ID のみに一致する高解像度またはアップサンプリングされた画像の緩和された検索を使用できるようにします。オプション。デフォルトではフルネームの一致が必要です。

  • hr_prefixed - 低解像度のファイル名が高解像度のファイル名の一部である場合、部分的な名前一致を許可します。relaxed_names が設定されている場合は適用されません。オプション。デフォルトではフルネームの一致が必要です。

• multi_frame_super_resolution - 複数の入力フレームを使用する超解像度タスク用にデータセットを変換します。

  • data_dir - 低解像度および高解像度の画像が配置されているフォルダーへのパス。

  • lr_suffix - 低解像度ファイル名のサフィックス (デフォルトは lr)。

  • hr_suffix - 高解像度ファイル名のサフィックス (デフォルトは hr)。

  • annotation_loader - グラウンド・トゥルース・イメージの読み取りに使用するライブラリー。サポートされるもの: opencv、pillow (オプション。デフォルト値は pillow)。画像の色空間はローダーに依存することに注意してください (OpenCV は BGR を使用し、Pillow は画像の読み取りに RGB を使用します)。

  • number_input_frames - 推論ごとの入力フレームの数。

  • reference_frame - 高解像度でのマッチングに使用されるサンプル・フレーム・シーケンス内のフレームの ID。フレーム数を定義するか、事前定義された次のいずれかを選択できます: first (参照として使用される最初のフレーム)、middle (num_frames / 2)、last (シーケンス内の最後のフレーム)。

• multi_target_super_resolution - 複数のターゲット解像度を持つ単一画像の超解像度タスクのデータセットを、各ターゲット解像度の SuperResolutionAnnotation 表現を持つ ContainerAnnotation に変換します。

  • data_dir - データセット・ルートへのパス。低解像度と高解像度のディレクトリーが配置されます。

  • lr_path - data_dir を基準とした低解像度画像ディレクトリーへのパス。

  • hr_mapping - ターゲット解像度と画像のあるディレクトリーの間のマッピングを表す辞書。キーは ContainerAnnotation のキーとしても使用されます。すべてのパスは data_dir に対する相対パスである必要があります。

• icdar_detection - テキスト検出チャレンジ用の ICDAR13 および ICDAR15 データセットを TextDetectionAnnotation に変換します。

  • data_dir - txt 形式のアノテーション付きフォルダーへのパス。

  • word_spotting - true の場合、長さが 3 記号未満の転写、または英数字以外の記号を含む転写は難しいとマークされます。

• icdar13_recognition - テキスト認識タスク用の ICDAR13 データセットを CharacterRecognitionAnnotation に変換します。

  • annotation_file - txt 形式のアノテーション・ファイルへのパス。

  • delimeter - 認識用の画像とテキストの間の区切り文字。サポートされる値 - それぞれスペースと表区切り文字の場合はスペースとタブ。

• lmdb_text_recognition_database - LMDB データベース形式のテキスト認識データセットのコンバーター。

  • lower_case - グラウンド・トゥルース・テキストを小文字に変換するか決定するパラメーター。

• unicode_character_recognition - 手書き日本語テキスト認識タスク用の Kondate データセットとNakayosi、および手書き簡体字テキスト認識タスク用の SCUT-EPT を CharacterRecognitionAnnotation に変換します。

  • annotation_file - txt 形式のアノテーション・ファイルへのパス。

  • decoding_char_file - decoding_char_file へのパス。txt 形式で ‘\n’ で区切られたサポートされるすべての文字で構成されます。

• bentham_lines - 行レベルの文字認識用の Bentham データセットを CharacterRecognitionAnnotation に変換します。

  • transcription_dir - ディレクトリーに保存された行の転写

  • partition_file - 検証向けに選択したサブセットを含むファイル。

  • normalize_text - テキストの Unicode 正規化を許可します (オプション、デフォルトは False)。

  • to_lower - 転写テキストを小文字に変換します (オプション、デフォルトは False)。

• brats - BraTS データセット形式を BrainTumorSegmentationAnnotation 形式に変換します。また、他の nifti ベースのデータセットの変換にも使用できます。

  • data_dir - データセットのルート・ディレクトリーには、検証データ (imagesTr) とグラウンド・トゥルース・ラベル (labelsTr) を含むサブディレクトリーが含まれます。必要に応じて、image_folder と mask_folder パラメーターをそれぞれ使用して、これらのサブディレクトリーの相対パスを指定できます (場所が異なる場合)。

  • mask_channels_first - GT マスク nifti ファイルを読み取り、チャネルが最初の順序で転置できるようにします (オプション、デフォルトは False)

  • labels_file - ラベルを含むファイルへのパス (オプション。省略した場合、ラベルは表示されません)

  • relaxed_names - 数値 ID のみに一致するラベルのより緩和された検索を使用できるようになります。オプション。デフォルトではフルネームの一致が必要です。

  • multi_frame - 3D 画像のアノテーションを 2D フレームのシーケンスとして変換できます (オプション、デフォルトは False

  • frame_separator - multi_frame 内のファイル名とフレーム番号の間の文字列の区切り文字 (オプション、デフォルトは #)

  • frame_axis - 3D 画像のフレーム軸の数 (オプション、デフォルトは -1、最後の軸)

  • as_regression - NiftiRegressionAnnotation アノテーションとしてデータセットの変換を許可します (オプション、デフォルトは False)

• k_space_mri - k-spaced MRI データセット形式を ImageRepresentationAnnotation 形式に変換します。Calgary-Campinas などの MRI データセットは、フーリエ画像形式 (いわゆる k 空間画像) でデータを提供します。コンバーターは、データセットのアノテーションと、グラウンドトゥルース画像とモデル入力の前処理を実行します。

  • data_dir - データセットのルートへのパス

  • image_folder - ソース k-space ファイル・ディレクトリーへのパス、相対的な data_dir (オプション、デフォルトは images)

  • reconstructed_folder - 再構築された画像ディレクトリーへのパス、相対的に data_dir (オプション、デフォルトは reconstructed)

  • masked_folder - マスクされた k-space ファイル・ディレクトリーへのパス、相対的な data_dir (オプション、デフォルトは masked)

  • mask_file - k-space マスクファイル名

  • stats_file - k-space 正規化係数ファイル名

  • skip_dumps - 前処理なしでデータセットにアノテーション追加することができます

• movie_lens_converter - ムービー・レンズ・データセット形式を HitRatioAnnotation 形式に変換します。

  • rating_file - 各ユーザー ID の最高スコアを持つ movieId を含むファイルへのパス (例: ml-1m-test-rateds.csv)

  • negative_file - 否定例を含むファイルへのパス。

  • users_max_number - 検証に使用されるユーザーの数 (オプション。ユーザーのリストを削除することができます。引数が指定されていない場合は、ユーザーの完全なリストが使用されます)。

• brats_numpy - 脳腫瘍セグメンテーション・データセットを BrainTumorSegmentationAnnotation に変換します。このコンバーターは、BraTS データセットの Numpy 表現で動作します。

  • data_dir - データセットのルート・ディレクトリーへのパス。

  • ids_file - データセット内の画像の名前が含まれるファイルへのパス

  • labels_file - ラベルを含むファイルへのパス (オプション。省略した場合、ラベルは表示されません)

  • data_suffix - データを含むファイルのサフィックス (デフォルトは _data_cropped)

  • label_suffix - グラウンド・トゥルース・データを含むファイルのサフィックス (デフォルトは _label_cropped で切り取られます)

  • boxes_file - Brain Box を使用したファイルへのパス (オプション)。このオプションは、ポスト・プロセッサーの segmentation-prediction-resample を含めて設定します(ポスト・プロセッサーを参照)。

• wmt - 機械翻訳タスクの WMT データセットを MachineTranslationAnnotation に変換します。

  • input_file - 翻訳用の入力文トークンを含むファイルへのパス。

  • reference_file - 翻訳の参照を含むファイルへのパス。

• common_semantic_segmentation - セマンティックのセグメント化タスクのデータセットの一般的な形式を SegmentationAnnotation に変換します。コンバーターは次のデータセット構造を想定しています:

  1. 画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は <dataset_root>/images、マスクの場合は <dataset_root>/masks)

  2. 画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)

  • images_dir - 画像のあるディレクトリーへのパス。

  • masks_dir - GT マスクを含むディレクトリーへのパス。

  • image_prefix - 画像ファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - 画像ファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_prefix - マスクファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - マスクファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_loader - GT マスクをロードする方法。サポートされているメソッド: pillow、opencv、nifti、numpy、scipy。

  • dataset_meta_file - 準備されたデータセットのメタ情報を含む json ファイルへのパス。これには、class_id: class_name 形式の辞書を含む label_map キーが含まれている必要があります。また、オプションで segmentation_colors (データセットがカラー・エンコーディングを使用している場合) も含まれている必要があります。セグメント化カラーは、各クラスのチャネルごとの値のリストです。(例: データセットに BGR カラーの 3 つのクラスがある場合、そのセグメント化カラーは [[255, 0, 0], [0, 255, 0], [0, 0, 255]] のようになります)。(オプションで、作成したファイルを構成内に dataset_meta として指定できます)。注: OpenVINO 2020.4 以降、コンバーターの動作が変更されました。データセットの data_source パラメーターには画像のみのディレクトリーを含める必要があります。セグメント化マスクが別の場所にある場合は、gt マスクの場所を指定するため segmentation_masks_source を使用してください。

• background_matting - バックグラウンド・マット・タスク用のデータセットの一般的な形式を BackgroundMattingAnnotation に変換します。コンバーターは次のデータセット構造を想定しています:

  1. 画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は <dataset_root>/images、マスクの場合は <dataset_root>/masks)

  2. 画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)

  • images_dir - 画像のあるディレクトリーへのパス。

  • masks_dir - GT マスクを含むディレクトリーへのパス。

  • image_prefix - 画像ファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - 画像ファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_prefix - マスクファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - マスクファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_to_gray - マットマスクをグレースケールにキャストできます (オプション、デフォルトは False)。

• video_background_matting - データセットの一般的な形式を変換します。背景マットタスクのためにビデオからフレームが抽出され、BackgroundMattingAnnotation に変換されます。ビデオに属する画像は、その名前 <video_name>.mp4.<image_name>.jpg に反映される必要があります。コンバーターは次のデータセット構造を想定しています:

  1. 画像と GT マスクは別のディレクトリーにあります (例: それぞれ画像の場合は <dataset_root>/images、マスクの場合は <dataset_root>/masks)。

  2. 画像と GT マスクは名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名が image0001.jpeg でマスクが gt0001.png など)。この場合、base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png)

  • images_dir - 画像のあるディレクトリーへのパス。

  • masks_dir - GT マスクを含むディレクトリーへのパス。

  • image_prefix - 画像ファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - 画像ファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_prefix - マスクファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - マスクファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_to_gray - マットマスクをグレースケールにキャストできます (オプション、デフォルトは False)。

• background_matting_sequential - バックグラウンド・マット・タスク用のデータセットの一般的な形式を BackgroundMattingAnnotation に変換します。画像と GT データはクリップごとにグループ化されています。コンバーターは次のデータセット構造を想定しています:

  1. 画像、GT マスク、背景、必要に応じて前景は、別のディレクトリーに配置されます (例: 画像の場合は <dataset_root>/images、マスクの場合は <dataset_root>/masks、背景の場合は <dataset_root>/backgrounds、前景の場合は <dataset_root>/foregrounds)。

  2. 画像、GT マスク、背景、前景には名前に共通部分があり、プリフィクスとポストフィックスが異なる場合があります (例: 画像名は clip_0/image0001.jpeg、そのマスクは clip_0/gt0001.png、背景は clip_0/bg0001.png、前景は、clip_0/fgr0001.png が受け入れられます。この場合 base_part - 0001、image_prefix - image、image_postfix - .jpeg、mask_prefix - gt、mask_postfix - .png、background_prefix - bg、background_postfix - .png、foreground_prefix - fgr、foreground_postfix - .png)

  • images_dir - 画像のあるディレクトリーへのパス。

  • masks_dir - GT マスクを含むディレクトリーへのパス。

  • image_prefix - 画像ファイル名のプリフィクス (オプション、デフォルトは空)。

  • image_postfix - 画像ファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_prefix - マスクファイル名のプリフィクス (オプション、デフォルトは空)。

  • mask_postfix - マスクファイル名のポストフィックス (オプション、デフォルトは .png)。

  • mask_to_gray - マットマスクをグレースケールにキャストできます (オプション、デフォルトは False)。

  • backgrounds_dir - GT 背景ディレクトリーへのパス。

  • background_prefix - GT 背景のプリフィクス。

  • background_postfix - GT 背景のポストフィックス。

  • with_background - 背景をロードします。

  • foregrounds_dir - GT 前景ディレクトリーへのパス (オプション、デフォルトは None)。

  • foreground_prefix - GT 前景のプリフィクス。

  • foreground_postfix - GT 前景のポストフィックス。

  • with_foreground - 前景をロードします。

  • with_alpha - アルファチャネルを含むマスク付きの画像を読み込みます。

• camvid - 12 クラスの CamVid データセットを SegmentationAnnotation に変換します。データセットは次のリポジトリーにあります

  • annotation_file - 検証ペアのリストを含む txt 形式のファイル (スペースで区切られた <path_to_image> <path_to_annotation>)

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• camvid_32 - 32 クラスの CamVid データセットを SegmentationAnnotation に変換します。データセットはここにあります。

  • labels_dir - ラベル付きのグラウンド・トゥルース・イメージを含むディレクトリー。

  • images_dir - 入力データのあるディレクトリー。

  • val_subset_ratio - サブセットの比率。検証に使用する必要があります。<total_dataset_size> * <subset_ratio> として定義されるサブセットサイズの (0, 1] 範囲の float 値です。オプション、デフォルトは 1 (検証に使用される完全なデータセットを意味します)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• image_retrieval - 画像取得タスクのデータセットを ReidentificationAnnotation に変換します。データセットは次の構造を持つ必要があります:

  1. データセットのルート・ディレクトリーには、gallery と queries いう名前の 2 つのサブディレクトリーが含まれており、それぞれギャラリーイメージとクエリーイメージを照会します。

  2. これらの各サブディレクトリーには、次のペアのリストを含むテキストファイルが含まれている必要があります: <path_to_image> <image_ID> (image_path と image_ID はスペースで区切る必要があります)。<path_to_image> は画像関連データセットのルートへのパス、<image_ID> はギャラリー内の画像 ID を表す番号です。

  • data_dir - データセットのルート・ディレクトリーへのパス。

  • gallery_annotation_file - ギャラリー画像と ID が一致する txt 形式のファイル (オプション、デフォルト値は <data_dir>/gallery/list.txt)

  • queries_annotation_file - クエリーの画像と ID が一致する txt 形式のファイル (オプション、デフォルト値は <data_dir>/queries/list.txt)

• cvat_object_detection - 画像の CVAT XML 注釈バージョン 1.1 形式を DetectionAnnotation に変換します。

  • annotation_file - 適切な形式の XML ファイルへのパス。

  • has_background - 背景を表す特別なクラスを元のラベルの先頭に追加し、n ではなく n+1 クラスのデータセットを変換できます (デフォルト値は True)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

• cvat_attributes_recognition - 画像の CVAT XML 注釈バージョン 1.1 形式を、ClassificationAnnotation を値タイプとしておよび属性名をキーとして (複数の属性の場合)、ClassificationAnnotation または ContainerAnnotation に変換します。bbox 属性をアノテーション・クラスとして使用しました。

  • annotation_file - 適切な形式の XML ファイルへのパス。

  • label - 属性の収集に使用されるデータセットのラベル (例えば、データセットに face と person の 2 つのラベルが含まれており、顔属性を認識したい場合は、このパラメーターの値として face を使用する必要があります)。

• cvat_age_gender - 年齢性別認識用のデータセットを表す画像の CVAT XML アノテーション・バージョン 1.1 形式を、性別認識用の ClassificationAnnotation、年齢分類用の ClassificationAnnotation、および年齢回帰用の RegeressionAnnotation を備えた ContainerAnnotation に変換します。次の表現の識別子: gender_annotation、age_class_annotation、age_regression_annotation。

  • annotation_file - 適切な形式の XML ファイルへのパス。

• cvat_facial_landmarks - 画像の CVAT XML 注釈バージョン 1.1 形式を FacialLandmarksAnnotation に変換します。

• coco_facial_landmarks - Coco 形式のランドマーク・データセットを FacialLandmarksHeatMapAnnotation に変換します。

  • annotation_file - Coco 形式のデータセット・アノテーション・ファイルへのパス

• cvat_facial_landmarks - 画像の CVAT XML 注釈バージョン 1.1 形式を FacialLandmarksAnnotation に変換します。

  • annotation_file - 適切な形式の XML ファイルへのパス。

• cvat_pose_estimation - 画像の CVAT XML 注釈バージョン 1.1 形式を PoseEstimationAnnotation に変換します。

  • annotation_file - 適切な形式の XML ファイルへのパス。

• cvat_text_recognition - 画像の CVAT XML 注釈バージョン 1.1 形式を CharacterRecognitionAnnotation に変換します。

  • annotation_file - 適切な形式の XML ファイルへのパス。

• cvat_binary_multilabel_attributes_recognition - 画像の CVAT XML 注釈バージョン 1.1 形式を MultiLabelRecognitionAnnotation に変換します。bbox 属性をアノテーション・クラスとして使用しました。各属性フィールドには、画像上の属性の存在/非存在を表す T 値または F 値がそれぞれ含まれている必要があります。

  • annotation_file - 適切な形式の XML ファイルへのパス。

  • label - 属性の収集に使用されるデータセットのラベル (例えば、データセットに face と person の 2 つのラベルが含まれており、顔属性を認識したい場合は、このパラメーターの値として face を使用する必要があります)。

• cvat_person_detection_action_recognition は、人物検出およびアクション認識タスク用の CVAT XML アノテーション・バージョン 1.1 を含むデータセットを、person_annotation という名前の人物検出品質推定用の DetectionAnnotation と、action_annotation という名前のアクション認識用の ActionDetectionAnnotation を含む ContainerAnnotation に変換します。

  • annotation_file - グラウンドトゥルースを含む XML ファイルへのパス。

  • use_case - データセットのラベルマップを決定するユースケース。サポートされている範囲アクション:

    • common_3_actions (座る、立つ、手を上げる)

    • common_6_actions (座る、書く、手を上げる、立つ、振り向く、机の上に横になる)

    • teacher (立つ、書く、デモンストレーションする)

    • raising_hand (座る、手を上げる)

• lpr_txt - テキスト形式のナンバープレート認識タスクのアノテーションを CharacterRecognitionAnnotation に変換します。

  • annotation_file - txt アノテーションへのパス。

  • decoding_dictionary - 出力デコード用の辞書を含むファイルへのパス。

• squad_emb - Stanford Question Answering Dataset (SQuAD) を Question Answering Embedding Annotation に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • testing_file - テストファイルへのパス。

  • vocab_file - モデル co 語彙ファイルへのパス。

  • class_token_first - [CLS] トークンをシーケンスの先頭に追加します。False の場合、最後のトークンとして追加されます。

  • enable_padding - 入力シーケンスを最大長までパッドします。

  • tokenizer_dir - トランスフォーマー・トークナイザーに必要なボキャブラリー・ファイルを含むディレクトリーへのパス

  • model_id - Huggingface.co のモデル・リポジトリー内でホストされている事前定義されたトークナイザーのモデル ID。

  • lower_case - 出力を小文字に変換します。

  • max_seq_length - 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。

  • max_query_length - 質問のトークンの最大数 (オプション、デフォルト値は 64)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - クエリーとシーケンスの最大長まで入力をパディングできるようにします。

• squad - Stanford Question Answering Dataset (SQuAD) を Question Answering Annotation に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • testing_file - テストファイルへのパス。

  • vocab_file - モデル co 語彙ファイルへのパス。

  • max_seq_length - 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。

  • max_query_length - 質問のトークンの最大数 (オプション、デフォルト値は 64)。

  • doc_stride - 長いドキュメントを分割するチャンク間のストライドサイズ (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - 最大シーケンス長のパディングを有効にします。

• squad_bidaf - Stanford Question Answering Dataset (SQuAD) を QuestionAnsweringBiDAFAnnotation に変換します。注 このコンバーターは、データをメトリック固有の形式に変換するだけでなく、nltk.word_tokenize を使用して BiDAF の入力をトークン化し、エンコードします。

  • testing_file - テストファイルへのパス。

• xnli - クロスリンガル自然言語推論コーパス (XNLI) を TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • language_filter - 特定の言語のみのレコードを選択するためアノテーション言語タグで使用されるカンマで区切ったリスト。(オプション。使用しない場合は完全なアノテーションが変換されます)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• mnli - クロスリンガル自然言語推論コーパス (MNLI) を TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• mrpc - マイクロソフトリサーチ言い換えコーパス (MRPC) を TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• cola - 言語受容性のコーパス (CoLA) を TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• wnli - Winograd NLI データセット (WNLI) を TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base にトークナイザーを使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• qnli - Question NLI データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base にトークナイザーを使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• qqp - Quora 質問ペア・データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、BERT の入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base にトークナイザーを使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• sst-2 - Stanford Sentiment Treebank SST-2 データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base にトークナイザーを使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• rte - テキスト含意の認識 RTE データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base にトークナイザーを使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• imdb - IMDB 感情データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv 形式のデータセット・アノテーション・ファイルへのパス

  • vocab_file - WordPiec トークン化用のモデル語彙ファイルへのパス (オプション。別のトークン化アプローチが使用される場合には提供できません)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - トークン化後の入力シーケンスの最大合計長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• custom_text_classification - カスタム・カラム・データセットを TextClassificationAnnotattion に変換します。注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv または csv 形式のデータセット・アノテーション・ファイルへのパス。

  • separator - カラム区切り文字、サポートされる値: カンマ区切りデータの場合はカンマ、表形式の区切りの場合はタブ。ファイル拡張子から派生したオプションのデフォルトの動作 - csv の場合は ,, tsv の場合 - \t。

  • text_1 - テキストのカラム ID (オプション、デフォルト - 0)。

  • text_2 - 文のペア分類タスクのテキストのカラム ID (オプション、指定しない場合は使用されません)。

  • label - ラベルのカラム ID (オプション、デフォルト - 1)。

  • labels_list - ラベル名のリスト (オプション、dataset_meta_file を使用することもできます)、

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map)。オプション。詳細については、データセット・メタのカスタマイズのセクションを参照してください。

  • vocab_file - WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• sentence_similarity - 文の類似性評価用の列ベースのデータセットを SentenceSimilarityAnnotation に変換します。 注: このコンバーターは、データをメトリック固有の形式に変換するだけでなく、モデルの入力をトークン化してエンコードします。

  • annotation_file - tsv または csv 形式のデータセット・アノテーション・ファイルへのパス。

  • separator - カラム区切り文字、サポートされる値: カンマ区切りデータの場合はカンマ、表形式の区切りの場合はタブ。ファイル拡張子から派生したオプションのデフォルトの動作 - csv の場合は ,, tsv の場合 - \t。

  • text_1 - テキストのカラム ID (オプション、デフォルト - 0)。

  • text_2 - 文のペア分類タスクのテキストの列 ID (オプション、デフォルト - 1)。

  • label - ラベル・ゴールド・スコアのカラム ID (オプション、デフォルト - 2)。

  • vocab_file - WordPiece トークン化用のモデル語彙ファイルへのパス (別のトークン化アプローチが使用される場合はオプション)。

  • sentence_piece_model_file - SentencePiece のトークン化に使用されるモデル (別のトークン化アプローチが使用される場合はオプション)。

  • max_seq_length - 単語のトークン化後の最大合計入力シーケンス長 (オプション、デフォルト値は 128)。

  • lower_case - トークンを小文字レジスターに切り替えることができます: これは、ケースなしのモデルを操作する場合に便利です (オプション、デフォルト値は False)。

  • enable_padding - シーケンスを最大シーケンス長にパッドします (オプション、デフォルトは True)。また、huggingface.co からトークナイザー・ファイルをダウンロードするため model_id を指定することにより、トークン化に HuggingFace Transformers ライブラリー機能を使用することもできます。また、vocab_file やセンテンスピース・モデルの代わりに仕様の事前トレーニング済みモデル・ディレクトリーに tokenizer_dir を提供することもできます。 例えば roberta-base に tokenizer を使用する必要があります

     model_id: roberta-base

    または

     tokenizer_dir: <model_saving_path>/roberta-base

• bert_xnli_tf_record - tf レコード形式で保存されたクロスリンガル自然言語推論コーパス (XNLI) を変換します。このコンバーターを使用するには、TensorFlow のインストールが必要です。変換する前に TensorFlow がインストールされていることを確認してください。

  • annotattion_file - TF レコード形式のアノテーション・ファイルへのパス。

• cmu_panoptic_keypoints - CMU Panoptic データセットを PoseEstimation3dAnnotation 形式に変換します。

  • data_dir - データセットのルート・ディレクトリー。これには検証シーンデータを含むサブディレクトリーが含まれます。

• clip_action_recognition - アノテーション・ビデオ・ベースのアクション認識データセットを変換します。変換前に、ここで説明するアプローチで検証セットを前処理する必要があります。

  • annotation_file - json 形式のアノテーション・ファイルへのパス。

  • data_dir - 準備されたデータが含まれるディレクトリーへのパス (例: data/kinetics/frames_data)。

  • clips_per_video - ビデオあたりのクリップ数 (オプション、デフォルトは 3)。

  • clip_duration - クリップの長さ (オプション、デフォルトは 16)

  • temporal_stride - フレーム選択の時間的ストライド (オプション、デフォルトは 2)。

  • numpy_input - 画像の代わりに numpy ファイルの使用を許可します。データに複雑な前処理ステップ (オプティカル・フローへの変換など) がある場合に便利です (オプション、デフォルトは False)

  • subset - データセットの分割: train、validation または test (オプション、デフォルトは validation)。

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map、color_encoding)。オプション。詳細については、データセット・メタのカスタマイズを参照してください。

  • num_samples - データセットから最初の n 個のサンプルを選択します (オプション、指定されていない場合はサンプルの完全なサブセットが使用されます)。

• continuous_clip_action_recognition - ビデオベースの MS-ASL データセットのアノテーションを ClassificationAnnotation に変換します。

  • annotation_file - txt 形式のアノテーション・ファイルへのパス。

  • data_dir - データセットのルート・ディレクトリーには、抽出されたビデオフレームを含むサブディレクトリーが含まれます。

  • out_fps - 生成されたビデオクリップの出力フレームレート。

  • clip_length - 生成されたビデオクリップのフレーム数。

  • img_prefix - 使用された画像のプリフィクス (オプション、デフォルト - img_)。

• redweb - 単眼相対奥行き知覚用の ReDWeb データセットを次に変換します: DepthEstimationAnnotation

  • data_dir - データセットのルート・ディレクトリー。imgs - RGB 画像のあるディレクトリーと RD - 相対深度マップのあるディレクトリーが配置されます (annotation_file を指定する場合はオプション)

  • annotation_file - 画像ファイルと深度マップファイルのペアを含む txt 形式のファイル(オプション、指定しない場合は、data_dir の完全なコンテンツがデータセットとみなされます)。

• nyu_depth_v2 - 深度推定用の NYU Depth Dataset V2 を DepthEstimationAnnotation に変換します。このコンバーターは、HDF5 形式で保存された前処理されたデータを受け入れます。データはこちらのページからダウンロードできます。

  • data_dir - HDF5 ファイルがあるディレクトリー(オプション、すでに変換された画像と深度マップがある場合は省略できます)。

  • images_dir - 画像用のディレクトリー。allow_convert_data が True の場合、ディレクトリーは変換されたイメージの保存に使用され、それ以外はデータの読み取りに使用されます。(オプション、変換の場合は指定できません。デフォルト値は <data_dir>/converted/images)。

  • depth_map_dir - 参照深度マップのディレクトリー。numpy 形式で保存されます。allow_convert_data が True の場合、ディレクトリーは変換された深度マップの保存に使用され、それ以外はデータの読み取りに使用されます。(オプション、変換の場合は指定できません。デフォルト値は <data_dir>/converted/depth)。評価中は、additional_data_source パラメーターを使用して、深度マップを含むディレクトリーへのパスを指定する必要があることに注意してください。

  • allow_convert_data - HDF5 形式からデータを変換できます (オプション、デフォルトは False)。

• inpainting - 画像を ImageInpaintingAnnotation に変換します。

  • images_dir - 画像ディレクトリーへのパス。

  • masks_dir - 修復に使用するマスク・データセットへのパス (オプション)。

• aflw2000_3d - 3D 顔ランドマーク回帰タスク用の AFLW2000-3D データセットを FacialLandmarks3DAnnotation に変換します。

  • data_dir - MATLAB 形式の入力イメージとアノテーション・ファイルが保存されるディレクトリー。

• style_transfer - 画像を StyleTransferAnnotation に変換します。

  • images_dir - 画像ディレクトリーへのパス。

  • annotation_file - アノテーションが 1 つある場合は [input_img1] [ref_img]、2 つの入力がある場合は [input_img1] [input_img2] [ref_img] という形式のアノテーションを含むファイルへのパス。

• ade20k - ADE20K データセットを SegmentationAnnotation に変換します。

  • images_dir - 画像のあるディレクトリーへのパス (例: ADEChallengeData2016/images/validation)。

  • annotations_dir - アノテーションのあるディレクトリーへのパス (例: ADEChallengeData2016/annotations/validation)。

  • object_categories_file - ラベル付きのファイルへのパス (例: ADEChallengeData2016/objectInfo150.txt)。

  • num_classes - 使用されたクラスの数。

• criteo_kaggle_dac - Criteo データセットを ClassificationAnnotation に変換します。

  • testing_file - 前処理された Criteo ファイルへのパス (例: criteo/terabyte/terabyte_preprocessed,npz)。

  • binary - 入力ファイル・モード・ラグ。設定すると、入力ファイルは .npz モードではなくバイナリーモードになります。オプションであり、デフォルトは False

  • batch - モデルによって予想されるバッチサイズ

  • max_ind_range - カテゴリー特徴量の最大インデックス範囲。オプションであり、デフォルトは 0

  • subsample_size - テスト専用データセット内のバッチの数。指定されている場合、レコードの総数はバッチ * subsample_size です。

  • validation - 指定された場合、データセット定義に従って、データセットの後半のみがアノテーションに変換されます

  • preprocessed_dir - 前処理されたバッチファイルを保存するパス (例: criteo/terabyte/preprocessed)。

  • separator - 機能識別子とバッチ・データ・ファイル名を区切る記号。

  • dense_features - モデルの密な特徴入力の名前。オプションであり、デフォルトは input.1

  • sparse_features - モデルのスパース特徴入力の名前。複数の入力の場合は、[名前]:[インデックス] の形式でカンマで区切ったリストを使用します。オプションであり、デフォルトは lS_i

  • lso_features - モデルオフセット特徴入力の名前。オプションであり、デフォルトは lS_o

  • save_preprocessed_features - 前処理された入力特徴を preprocessed_dir に保存できるようにします (オプション、デフォルトは True)。

• features_regression - テキストファイル内の前処理済み入力数値データ (特徴量) と同じ形式の参照データを含むディレクトリー形式で保存されたデータセットを、FeatureRegressionAnnotation に変換します。このアプローチにより、さまざまなフレームワークからのモデルの出力を比較できます (OpenVINO に変換されたモデルとソース・フレームワークの実現など)。

  • input_dir - 入力データファイルのあるディレクトリー。

  • reference_dir - 参照データのあるディレクトリー。注: 変換されたアノテーション内では、ディレクトリーへのパスは保存されず、ファイル名のみが保存されます。プリフィクスは、additional_data_source で定義してください。

  • input_suffix - 入力ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは .txt。

  • reference_suffix - 参照ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは .txt。

  • use_bin_data - このフラグは、入力データがバイナリー形式であることを指定します。オプション、デフォルトは False です。

  • bin_data_dtype - バイナリーデータを読み取るためのデータタイプ。

• multi_feature_regression - 辞書形式の前処理済み入力数値データ (特徴) を含むディレクトリー形式で保存されたデータセットを変換します。キーはレイヤー名と値、つまり同じ形式の特徴と FeatureRegressionAnnotation と同じ形式の参照データです。このアプローチにより、さまざまなフレームワークからのモデルの出力を比較できます (OpenVINO に変換されたモデルとソース・フレームワークの実現など)。入力と参照は dict のようなオブジェクトとして npy ファイルに保存する必要があることに注意してください。

  • data_dir - 入力ファイルと参照ファイルを含むディレクトリー。

  • input_suffix - 入力ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは in.npy。

  • reference_suffix - 参照ファイルのサフィックス (通常はファイル拡張子)。オプションであり、デフォルトは out.npy。

  • prefix - 入力ファイルを選択するプリフィクス (オプション、指定しない場合は無視されます)。

• librispeech - librispeech データセットを CharachterRecognitionAnnotation に変換します。

  • data_dir - 変換された wav ファイルを含むデータセット・ディレクトリーへのパス。

  • annotation_file - 評価に使用するデータを記述するファイルへのパス (audio_filepath、text、duration)。オプション、データのフィルタリングと継続時間によるオーディオサンプルの並べ替えにのみ使用されます。

  • use_numpy - オーディオの代わりに npy ファイルに保存された前処理されたデータを使用できるようにします (オプション、デフォルトは False)。

  • top_n - n 番目の最短のサンプルのみを取得するための数値 注 annotation_file が提供されている場合にのみ適用されます。

  • max_duration - アノテーションに含めるクリップの最大継続時間。デフォルトの 0 は、期間チェックを行わないことを意味します。

• criteo - Criteo データセットを ClassificationAnnotation に変換します。

  • testing_file - テストファイルへのパス、terabyte_preprocessed.npz (Criteo Terabyte) または day_6_processed.npz (Criteo Kaggle Dac)

  • batch - モデルのバッチ。

  • subsample_size - バッチ内のサブサンプル・サイズ

  • validation - データセットの半分を検証目的に使用できるようにします

  • block - バッチ指向のアノテーションを作成します

  • separator - 入力識別子とファイル識別子の間の区切り文字

  • preprocessed_dir - 前処理されたデータセットの場所

  • dense_features - モデルの密な特徴入力の名前

  • sparse_features - モデルのスパース特徴入力の名前。複数入力の場合は、[name]:[index] の形式でカンマで区切ったリストを使用します。

  • lso_features - lS_o に似た特徴入力の名前

• im2latex_formula_recognition - im2latex のようなデータセットを CharacterRecognitionAnnotation に変換します。データセットの例

  • images_dir - 入力画像へのパス (レンダリングまたはスキャンされた式)

  • formula_file - 1 行に 1 つの数式を含むファイルへのパス

  • split_file - img_name を含むファイルへのパスと、formula_file 内の対応する式 index を 1 行ごとにタブで区切って指定します。

  • vocab_file - トークンクラスのインデックスを可読可能なトークンにキャストする語彙を含むファイル

• dna_sequence - DNA シーケンス用のデータセットを DNASequenceAnnotation に変換します。

  • chunks_file - 入力チャンクを含む npy ファイル。

  • ref_file - 参照配列を含む npy ファイル。

  • num_chunks - 検証で使用するサブセットサイズ。指定しないとデータセット全体が使用されます。

  • alphabet - シーケンスデコード用のアルファベット (オプション、デフォルト [“N”, “A”, “C”, “G”, “T”])。

• place_recognition - 画像ベースの翻訳タスク用にデータセットを変換します: PlaceRecognitionAnnotation

  • subset_file - matlab ファイルには、検証で使用されるサブセットの情報が含まれています。

• mpii - MPII 人間の姿勢推定データセットを PoseEstimationAnnotation に変換します。

  • annotation_file - アノテーション付きの json ファイル。

  • headboxes_file - 各画像の頭の座標を含むボックスを含む numpy ファイル。

  • gt_pos_file - グラウンド・トゥルース・キーポイントを含む numpy ファイル。オプション、指定しない場合は、アノテーションからのデフォルトのキーポイントが使用されます。

  • joints_visibility_file - グラウンド・トゥルース・キーポイントの可視性レベルを含む numpy ファイル。オプション、指定しない場合は、アノテーションからのデフォルトの可視性レベルが使用されます。

• cluttered_mnist - MNIST データセットを空間変換ネットワークの例から ClassificationAnnotation に変換します。

  • data_file - データセットを含む npz ファイル。

  • split - データセットの分割: train - トレーニング・サブセット用、valid - トレーニング検証サブセット用、test - テストサブセット用 (オプション、デフォルトテスト)。

  • convert_images - npz に保存されている生データから画像を変換し、指定されたディレクトリーに保存できます (オプション、デフォルトは True)。

  • images_dir - 変換された画像を保存するディレクトリー (オプション、指定しない場合、画像は data_file が保存されている同じ場所の Converted_images ディレクトリーに保存されます)

• antispoofing - スプーフィング対策分類タスク用にデータセットを変換します: ClassificationAnnotation

  • data_dir - データセットのルートフォルダーへのパス

  • annotation_file - データセットへのアノテーションを含む json ファイルへのパス ({index: {path:"…"、labels:[…]、bbox:[…] (オプション)、…})

  • label_id - スプーフィング/本物のラベルを表すアノテーション・ファイル内のラベルの数

  • dataset_meta_file - データセット・メタを含む json ファイルへのパス (例: label_map)

• sound_classification - サウンド分類用のデータセットを ClassificationAnnotation に変換します。データセットは、入力 wav ファイルと 2 列の csv 形式の注釈を含むディレクトリーで表す必要があります。最初のカラムはオーディオファイル名、2 番目のカラムはデータセットのラベル ID です。

  • annotation_file - 評価用に選択されたサブセットを含む csv ファイル。ファイル構造は上記で説明されています。

  • audio_dir - 入力データを含むディレクトリー (オプション。アノテーションの変換中にファイルの存在を確認する場合にのみ必須)。

• ade20k_image_translation - reference_file に従って、ADE20K データセットを ImageProcessingAnnotation に変換します。

  • annotations_dir - アノテーションのあるディレクトリーへのパス (例: ADEChallengeData2016/annotations)。

  • reference_file - キー (検証): 値 (トレイン) のペアを持つファイルへのパス。

• salient_object_detection - 顕著な物体検出用のデータセットを SalientRegionAnnotation に変換します。データセットは次の構造を持つ必要があります:

  1. 画像には、名前や jpg 拡張子などの数値 ID が付いています (例: image/0.jpg、image/1.jpg、image/2.jpg、…)。

  2. salience マップは別のディレクトリーにあり、画像と png 拡張子と同じ ID を持ちます (例: Mask/0.png、mask/1.png、mask/2.png)。

  • images_dir - 入力画像のあるディレクトリー。

  • masks_dir - 参照顕著性マップを含むディレクトリー。

  • annotation_file - 選択した画像 ID を含む txt ファイル。

• wflw - 顔のランドマーク回帰タスクの WFLW データセットを FacialLandmarksAnnotation に変換します。

  • annotation_file - WFLW データセット形式のグラウンド・トゥルース・データを含む txt ファイルへのパス。

  • images_dir - データセット画像へのパス。コンテンツの存在チェックにのみ使用されます (オプションのパラメーター)。

• common_object_detection - オブジェクト検出データセットを DetectionAnnotation に変換します。データセットは次の形式で保存する必要があります:

  1. label_map はテキストファイルとして定義され、ラベルが 1 行ずつ定義されます。

  2. 各画像のアノテーションは別個のテキストファイルに保存されます。ボックスはスペースで区切られた情報で表されます: <label_id> <x_min> <y_min> <x_max> <y_max>。

  3. 画像名と同じアノテーション・ファイルの名前 (または、ファイルマッピングを持つ追加ファイルを定義する必要があります)。

  • annotation_dir - アノテーション・ファイルのあるディレクトリーへのパス。

  • images_dir - 画像を含むディレクトリーへのパス (オプション、コンテンツのチェックステップでのみ使用されます)。

  • labels_file - ラベル付きのファイルへのパス。

  • pairs_file - 画像とアノテーション・ファイルのペアが記述されているファイルへのパス (オプション、指定されていない場合は、annotation_dir の内容に従ってリストが作成されます)。

  • has_background - 背景ラベルを label_map に追加する必要があることを示すフラグ (オプション、デフォルトは False)。

  • add_background_to_label_id - has_background が有効な場合、アノテーションで定義された label_id をシフトする必要があることを示すフラグ。

• see_in_the_dark - 論文で説明されている See-in-the-Dark データセットを ImageProcessingAnnotation に変換します。

  • annotation_file - txt 形式の画像ペアファイルへのパス。

• conll_ner - 固有表現認識用の CONLL 2003 データセットを BERTNamedEntityRecognitionAnnotation に変換します。

  • annotation_file - txt 形式のアノテーション・ファイル。

  • vocab_file - 単語部分のトークン化のための vocab ファイル。

  • lower_case - トークン化中にすべてのトークンを小文字に変換します (オプション、デフォルトは False)。

  • max_length - 入力シーケンスの最大長 (オプション、デフォルトは 128)。

  • pad_input - 入力が max_length 未満の場合、入力シーケンスのパディングを許可します (オプション、デフォルトは True)。

  • include_special_token_lables - 特別なトークンラベル ([CLS', [SEP]]) を使用した拡張元のデータセット・ラベルを許可します (オプション、デフォルトは False)。

  • labels_file - json 形式のカスタムラベルを含むファイルへのパス (オプション)。labels_file コンテンツの例:

    {"labels": ["O", "B-PER", "I-PER", "B-ORG", "I-ORG", "B-LOC", "I-LOC", "B-MISC", "I-MISC"]}

• tacotron2_data_converter - カスタム tacotron2 パイプラインの入力データを変換します。

  • annotation_file - 位置入力データと参照を含む tsv ファイル。

• noise_suppression_dataset - オーディオノイズ除去用のデータセットを NoiseSuppressionAnnotation に変換します

  • annotation_file - ファイルペア <clean_signal> <noisy_signal> を含む txt ファイル。

• vimeo90k - ビデオ処理アルゴリズム評価のために Vimeo-90K データセットを SuperResolutionAnnotation に変換します。

  • annotation_file - テストに含まれるデータセット・セットアップレットのリストを含むテキストファイルへのパス。

  • add_flow - フローデータのアノテーションを許可します (オプション、デフォルトは False)。

• vimeo90k_interp - ビデオ処理アルゴリズムを評価するため Vimeo-90K 中間フレーム補間データセットを ImageProcessingAnnotation に変換します。

  • annotation_file - テストに含まれるデータセット・セットアップレットのリストを含むテキストファイルへのパス。

• kaldi_asr_data - 前処理された Kaldi* 特徴データセットを CharacterRecognitionAnnotation に変換します。

  • annotation_file - gt 転写テーブルを含むファイル。

  • data_dir - ark ファイルがあるディレクトリー。

  • features_subset_file - ark ファイルをテストするリストを含むファイル。オプション。指定しない場合は、data_dir ファイル内にあるすべてのファイルが使用されます。

  • ivectors - 入力する ivectors 特徴量をインクルードします。オプション、デフォルトは False。

• kaldi_feat_regression - 前処理された Kaldi* 特徴量を RegressionAnnotation に変換します。

  • data_dir - 入力 ark または npz ファイルのあるディレクトリー。

  • features_subset_file - ark または npz ファイルをテストするリストを含むファイル。オプションで、指定しない場合は、data_dir ファイル内にあるすべてのファイルが使用されます。サブセットファイルの形式は次のとおりです。各行には入力サンプルに関する情報が格納されます。入力サンプルは、スペースで区切られた入力ファイルのリストで構成され、参照ファイル名で終わります。

  • ivectors - 入力する ivectors 特徴量をインクルードします。オプション、デフォルトは False。

  • ref_data_dir - ark または npz ファイルを参照するディレクトリー (オプション、指定しない場合は代わりに data_dir が使用されます)。

  • vectors_mode - 発話内の各ベクトルを独立したデータとして使用できるようにします。

  • ref_file_suffix - 検索参照ファイルのサフィックス (オプション、デフォルトは _kaldi_score)。

  • utterance_name_agnostic - 変換中に発話名を無視できるようにします。オプション、デフォルトで必須の発話キーの一致。

  • use_numpy_data - データ形式として、ark ファイルの代わりに npz に保存されたデータを使用できるようにします。

• electricity - Electricity データセットを TimeSeriesForecastingAnnotation に変換します。

  • data_path_file - .csv 形式のデータセット・ファイルへのパス。

  • num_encoder_steps - モデルが使用する履歴タイムスタンプの最大数。

• yolo_labeling - YOLO ラベル形式のアノテーションを含む物体検出データセットを DetectionAnnotation に変換します。

  • annotations_dir - txt 形式のアノテーション・ファイルを含むディレクトリーへのパス。

  • images_dir - 画像を含むディレクトリーへのパス (オプション)。

  • labels_file - txt 形式のラベルを含むファイルへのパス (オプション)。

  • images_suffix - 画像ファイル名のサフィックス (デフォルト: .jpg:)。

• label_me_detection - LabelMe アノテーション・ツールを使用して取得したデータセットを DetectionAnnotation に変換します。

  • annotations_dir - XML 形式の注釈ファイルを含むディレクトリーへのパス。

  • dataset_meta_file - データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。詳細については、データセット・メタのカスタマイズのセクションを参照してください。

  • images_dir - 画像を含むディレクトリーへのパス (オプション)。

  • has_background - background_label を追加する/追加しないでデータセットを変換できます (オプション、デフォルト: False)。

• label_me_segmentation - LabelMe アノテーション・ツールを使用して取得したデータセットを SegmentationAnnotation に変換します。

  • annotations_dir - XML 形式の注釈ファイルを含むディレクトリーへのパス。

  • dataset_meta_file - データセット・メタ (label_map、color_encoding など) を含む json ファイルへのパス。詳細については、データセット・メタのカスタマイズのセクションを参照してください。

  • images_dir - 画像を含むディレクトリーへのパス (オプション)。

  • masks_dir - グラウンド・トゥルース・セグメント化マスクを使用したディレクトリーへのパス (オプション)。

• cls_dataset_folder - DatasetFolder 形式の汎用分類データセットを ClassificationAnnotation に変換します。

  • data_dir - 次の構造の入力画像を含むディレクトリー:

     data_dir/class_a/xxx.ext 
    data_dir/class_a/xxy.ext 
    data_dir/class_b/[...]/xxz.ext 
    ... 
    data_dir/class_y/123.ext 
    data_dir/class_z/nsdf3.ext 
    data_dir/class_z/[...]/asd932_.ext

• rctw_preprocessed- 前処理された Reading Chinese Text in the Wild (RCTW) データセットを TextDetectionAnnotation に変換します。

  • annotation_file - txt ファイルにはアノテーションが含まれており、画像とそのアノテーションはタブで区切られています。画像のアノテーションは json-string として表現されます。

• open_images_detection - 物体検出タスクの Open Images データセットを DetectionAnnotation に変換します。

  • bbox_csv_file - 境界ボックスの座標を含む csv ファイルへのパス。

  • labels_file - CSV 形式のクラスラベルを含むファイルへのパス。

  • images_dir - 画像フォルダーへのパス (オプション)。

  • label_start - ラベルマップ内のラベル・インデックスの開始を指定します。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます (オプション、デフォルト値は 1)。

• amazon_product_data - DIEN モデル用に前処理された Amazon Product Data (http://snap.stanford.edu/data/amazon/productGraph) データセットからの書評を、ClassificationAnnotation に変換します。

  • test_data - ユーザーレビューを含むファイルへのパス

  • uid_voc - ユーザー識別語彙へのパス

  • mid_voc - 映画の識別語彙へのパス

  • cat_voc - カテゴリー語彙へのパス

  • item_info - item-info 情報ファイルへのパス

  • reviews_info - reviews-info 情報ファイルへのパス

  • preprocessed_dir - 前処理されたデータへのパス

  • separator - 前処理されたデータファイル名の入力名とバッチ識別子の間の区切り文字。(オプション、デフォルト #)

  • mid_his_batch - モデル mid_his_batch 入力の識別子

  • cat_his_batch - モデル cat_his_batch 入力の識別子

  • uid_batch - モデル uid_batch 入力の識別子

  • mid_batch - モデル mid_batch 入力の識別子

  • cat_batch - モデル cat_batch 入力の識別子

  • mask - モデル mask 入力の識別子

  • seq_len - モデル seq_len 入力の識別子

  • skip_dump - 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルト False)

  • batch - データ前処理用のバッチ。(オプション、デフォルト 1)

  • max_len - 入力シーケンスの最大長。(オプション、デフォルト 100)

  • subsample_size - 前処理された文の数を制限します。(オプション、デフォルト 0、制限なし)

• wgs_tf_records - Deepvariant WGS 前処理データセット (https://github.com/google/deepvariant/blob/r0.10/docs/deepvariant-training-case-study.md) を ClassificationAnnotation に変換します。

  • annotation_file - Deepvariant WGS 前処理データセット・ファイルへのパス

  • preprocessed_dir - 前処理されたデータへのパス

  • skip_dump - 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルト False)

• wgs_pickle_records - pickle ファイルにダンプされた Deepvariant WGS 前処理データセット (https://github.com/google/deepvariant/blob/r0.10/docs/deepvariant-training-case-study.md) を ClassificationAnnotation に変換します。

  • annotation_file - Deepvariant WGS 前処理データセット・ファイルへのパス

  • preprocessed_dir - 前処理されたデータへのパス

  • skip_dump - 前処理されたデータの保存をスキップできるようにします。(オプション、デフォルト False)

• common_text_recognition - テキスト認識タスク (光学式文字認識、自動音声認識など) の注釈を CharacterRecognitionAnnotation に変換します。

  • annotation_file - アノテーション付きのファイルへのパス。各行は [input_file] [reference] として表されます。

• speaker_reidentification - 話者/音声再識別データセットのアノテーションを ReidentificationClassificationAnnotation に変換します。

  • annotation_file - 次の形式の再識別ペアを含むテキストファイル: [is_positive] [audio_1] [audio_2]、is_positive - ペアが正であることを示すインジケーター (話者が同じ場合は 1、話者が異なる場合は 0)、audio_1 と audio_2 は最初と 2 番目のオーディオファイルへのパスです。

  • max_pairs - 各画像の選択ペアの制限 (オプション、デフォルトでは、アノテーションで確立されたすべてのペアを使用します)。

• mvtec - MVTec データセットを AnomalySegmentationAnnotation または ClassificationAnnotation に変換します。

  • data_dir - サブセットイメージを含むディレクトリー。

  • classification_only - ピクセルレベルの情報を保存せずにデータセットを ClassificationAnnotation に変換します (オプション、デフォルトは False)。

• kitti_2d_detection - 2D オブジェクト検出タスクの KITTI アノテーションを DetectionAnnotation に変換します。

  • annotations_dir - アノテーション・ファイルのあるディレクトリーへのパス。

  • labels_file - ラベル付きのファイルへのパス。

  • images_dir - 画像を含むディレクトリーへのパス (オプション、デフォルトは image_2)。

  • label_start - ラベルマップ内のラベル・インデックスの開始を指定します。オプション、デフォルト値は 1 です。このデータセットを個別のラベル検証に使用する場合は、別の値を指定できます。

  • images_suffix - 画像ファイル名のサフィックス (デフォルト: .png:)。

• malware_classification_converter - マルウェア検出タスクのデータセットを ClassificationAnnotation に変換します。

  • annotation_file - データセット・アノテーション・ファイルへのパス。

  • data_dir - データセット・ルート・フォルダーへのパス。

  • known_folder - 既知のファイルを含むフォルダーの名前 (オプション、デフォルトは KNOWN_1000)。

  • malicious_folder - 不正なファイルを含むフォルダーの名前 (オプション、デフォルトは MALICIOUS_1000)。

• cvat_palm_detection - 手のひら検出タスク用のハンド・データセットを DetectionAnnotation に変換します。

  • annotation_file - データセット・アノテーション・ファイルへのパス。

  • images_dir - 画像を含むディレクトリーへのパス (オプション、デフォルトは final)。

  • landmarks_file - アノテーション画像の手のランドマーク座標を含むファイルへのパス (オプション)。指定されている場合、コンバーターは annotation_file で提供されるデータの代わりにランドマーク・データから計算された GT ボックス座標を使用します。

  • padding - GT バウンディング・ボックスの周囲の追加のパディング (ピクセル単位) は、landmarks_file から計算されます。

• cvat_hand_landmarks - 手の認識タスク用のハンド・データセットを HandLandmarksAnnotation に変換します。

  • annotation_file - データセット・アノテーション・ファイルへのパス。

  • bbox_file - 手の境界ボックスのアノテーション付きのファイルへのパス。

  • images_dir - 画像を含むディレクトリーへのパス (オプション、デフォルトは final)。

  • from_landmarks - bbox_file で提供されるデータの代わりにランドマーク・データから手の境界ボックスの座標を計算できるようにします (オプション、デフォルトは False)。

  • padding - from_landmarks モードで計算された、手の境界ボックスの周囲のピクセル単位の追加パディング (オプション、デフォルトは 10)。

  • num_keypoints - モデルによって予期されるアノテーション内のキーポイントの数 (オプション、デフォルトは 21)。

• parti_prompts - テキストから画像への生成ベンチマークの PartiPrompts を Text2ImageGenerationAnnotation に変換します。

  • annotation_file - csv 形式のアノテーション・ファイルへのパス。

データセット・メタのカスタマイズ

いくつかのデフォルトのデータセット・パラメーターをカスタマイズする必要がある場合があります (元のデータセットのラベルマップを独自のものに置き換えるなど)。dataset_meta_file 引数を使用して、label_map、segmentation_colors、background_label などのパラメーターをオーバーロードできます。データセットのメタファイルは JSON ファイルであり、次のパラメーターを含めることができます:

• label_map は、<CLASS_ID> がキー、<CLASS_NAME> が値である辞書です。

• labels はクラス名を表す文字列のリストです (順序は重要で、クラス id として使用されるクラス名のインデックス)。代わりに label_map を使用できます。

• background_label - データセット内の背景ラベルの id。

• segmentation_colors (セマンティックのセグメント化タスクのデータセットでカラー・エンコーディングが使用されている場合)。セグメント化カラーは、各クラスのチャネルごとの値のリストです。(例: データセットに BGR カラーの 3 つのクラスがある場合、そのセグメント化カラーは [[255, 0, 0], [0, 255, 0], [0, 0, 255]] のようになります)。dataset_meta.json コンテンツの例:

{ 
"label_map": {"0": "background", "1": "cat", "2": "dog"}, 
"background_label": "0", 
"segmentation_colors": [[0, 0, 0], [255, 0, 0], [0, 0, 255]] 
}