WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター

"OpenAIGym" （強化学習環境）

"OpenAIGym"は，PythonのOpenAI Gym強化学習環境パッケージのインターフェースを提供する．
"OpenAIGym"を使うには，OpenAI Gym Pythonパッケージがインストールされていなければならない．
OpenAI Gym Pythonパッケージは，公式にはLinuxとmacOSのプラットフォームのみでサポートされている．さらに，いくつかの異なるファミリの環境が使用可能である．このページの例では，"Atari"ファミリの環境を使う．ホストシステムの詳細によっては，このファミリは，以下のコマンドラインのいずれかを使ってインストールできる（インストール方法の詳細はここに記載されている．）：
$ pip install "gym[atari]"
$ pip3 install "gym[atari]"
$ pip install gym atari-py
ExternalEvaluateを使って，このPythonパッケージとインタラクトする．ユーザは，ExternalEvaluateがGymをインストールしたPython環境で使えるように設定されているかどうかを確認する必要がある．Gymが正しく設定するかどうかを確かめる簡単なテストとしては，以下を実行すればよい：
ExternalEvaluate["Python", "import gym"]
OpenAI GymのCarRacing-v0環境

例題

例  (2)

"Atlantis-v0"のAtari環境を開く：

Wolfram Language code: env = DeviceOpen["OpenAIGym", "Atlantis-v0"]

初期状態を観察する：

Wolfram Language code: observe1 = DeviceRead[env]

この場合は，"ObservedState"は画素値の配列である．これを画像として可視化する：

Wolfram Language code: Image[observe1["ObservedState"]]

ランダムなアクションを得る：

Wolfram Language code: action = DeviceExecute[env, "RandomAction"]

ランダムなアクションを取る：

Wolfram Language code: observe2 = DeviceExecute[env, "Step", action]

アクションを取ると，通常"ObservedState"が修正される：

Wolfram Language code: observe1["ObservedState"] == observe2["ObservedState"]

環境を初期状態に再設定する．初期の"ObservedState"が回復される：

Wolfram Language code: DeviceExecute[env, "Reset"]

環境を閉じる：

Wolfram Language code: DeviceClose[env]

"Breakout-v0"環境を開く：

Wolfram Language code: env = DeviceOpen["OpenAIGym", "Breakout-v0"]

ランダムなエージェントがBreakoutを行う様子を可視化する：

Wolfram Language code: ListAnimate@Table[Image@DeviceExecute[env, "Step", DeviceExecute[env, "RandomAction"]]["ObservedState"], 30]

環境を閉じる：

Wolfram Language code: DeviceClose[env]