動画解析は,自動的に情報と洞察を動画から抽出する過程である.典型的な例として,オブジェクトの検出,認識,追跡がある.顔,テキスト等のオブジェクトを深く理解したり,音声からテキストへの変換,またはシーンや行動の分類によって,動画を総括的に理解したりすることができることが多い.  高レベルの画像と音声の解析関数の完全な一式と,強固に統合された機械学習とニューラルネットワークを使って,Wolfram言語はさまざまな分野からの動画を解析するためにカスタマイズできるワークフローを可能にする.

動画の可視化

VideoSummaryPlot 動画の要約をプロットする

HighlightVideo 検出した特徴あるいは追跡したオブジェクトをハイライトする

AudioPlot  ▪  Spectrogram  ▪  VideoFrameList

オブジェクトの検出と認識

FindFaces 動画のフレーム内の顔を見付ける

ImageBoundingBoxes 動画のフレーム内のオブジェクトを見付ける

ImagePosition  ▪  ImageCases  ▪  ImageContents  ▪  ImageContainsQ  ▪  TextRecognize  ▪  FindImageText  ▪  BarcodeRecognize  ▪  FacialFeatures

オブジェクトの追跡

VideoObjectTracking 動画内のオブジェクトを追跡する

ObjectTrackingData  ▪  ImageDisplacements  ▪  ImageFeatureTrack

機械学習とニューラルネットワーク »

"VideoFrames" 動画フレームのネットエンコーダ

FeatureExtract  ▪  FeatureSpacePlot  ▪  NetModel  ▪  NetTrain  ▪  ...

Wolfram Neural Net Repositoryからのモデル »

"FastDVDNet Trained on DAVIS Data"(動画のノイズ除去)  ▪  "3D-Inflated ResNet-50 Trained on Kinetics 400 Data"(動作認識)  ▪  "ColorNet Image Colorization Trained on ImageNet Competition Data"(フレームの色付け)  ▪ 

フレームごとの解析

VideoIntervals 動画の関心区間を見付ける

VideoMapTimeSeries  ▪  VideoMapList

フレームごとの分割

ImageSegmentationComponents 動画のフレーム内に高レベル部分を見付ける

MorphologicalComponents 動画のフレーム内の接続されたコンポーネントを見付ける

ImageSegmentationComponents  ▪  ClusteringComponents  ▪  WatershedComponents  ▪  GrowCutComponents  ▪  ImageForestingComponents

フレームごとの特徴検出

ImageCorners 動画のフレーム内のコーナー点を見付ける

ImageKeypoints  ▪  ImageLines  ▪  FindImageShapes

音声の可視化

AudioPlot 音声の波形プロット

Spectrogram  ▪  Periodogram  ▪  Cepstrogram

音声解析 »

AudioIntervals 沈黙,音声等の区間を返す

AudioMeasurements  ▪  AudioLocalMeasurements  ▪  ShortTimeFourier  ▪  ...