WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター

"SimulatedCartPole" （強化学習環境）

"SimulatedCartPole"とは，重さ付きの棒が摩擦のないトラック上を動くカートのヒンジに取り付けられているという強化学習環境である．各時間ステップでLeftまたはRightの方向に力をカードに適用することができる．ゴールは，エージェントが適切な力をカードに適用し，棒が倒れないようにするということである．棒が直立している時間ステップそれぞれにおいて，+1の報酬が与えられる．棒が垂直状態から15度より大きく傾いた場合，あるいはカードが中心から2.4単位を超える距離移動した場合に，そのエピソードは終了したと見なされる．
"SimulatedCartPole"は，Barto et al.（1983年）によって記述されたカートと棒の問題のバージョンに対応するものである．また，これはOpenAI Gymの実装"CartPole-v1"とまったく同じものである．
棒は動くカートにヒンジのところで取り付けられている．

例題

例  (2)

"SimulatedCartPole"環境を開く：

Wolfram Language code: env = DeviceOpen["SimulatedCartPole"]

初期状態を観察する：

Wolfram Language code: observe1 = DeviceRead[env]

環境を可視化する：

Wolfram Language code: DeviceExecute[env, "Render"]

ランダムなアクションを得る：

Wolfram Language code: action = DeviceExecute[env, "RandomAction"]

ランダムなアクションを取る：

Wolfram Language code: observe2 = DeviceExecute[env, "Step", action]

アクションを取ると，通常"ObservedState"が修正される：

Wolfram Language code: observe1["ObservedState"] == observe2["ObservedState"]

環境を初期状態に再設定する．初期の"ObservedState"が回復される：

Wolfram Language code: DeviceExecute[env, "Reset"]

環境を閉じる：

Wolfram Language code: DeviceClose[env]

"SimulatedCartPole"環境を開く：

Wolfram Language code: env = DeviceOpen["SimulatedCartPole"]

ランダムなエージェントがカートを抑制している様子を可視化する：

Wolfram Language code: DeviceExecute[env, "Reset"];
Wolfram Language code: ListAnimate[Table[(DeviceExecute[env, "Step", DeviceExecute[env, "RandomAction"]];DeviceExecute[env, "Render"]), 30]]