Unit 8: Proximal Policy GOptimization (PPO) with PyTorch 🤖¶
In this notebook, you'll learn to code your PPO agent from scratch with PyTorch using CleanRL implementation as model.
To test its robustness, we're going to train it in:
⬇️ Here is an example of what you will achieve. ⬇️
In [1]:
%%html
<video controls autoplay><source src="https://huggingface.co/sb3/ppo-LunarLander-v2/resolve/main/replay.mp4" type="video/mp4"></video>
We're constantly trying to improve our tutorials, so if you find some issues in this notebook, please open an issue on the GitHub Repo.
Objectives of this notebook 🏆¶
At the end of the notebook, you will:
- Be able to code your PPO agent from scratch using PyTorch.
- Be able to push your trained agent and the code to the Hub with a nice video replay and an evaluation score 🔥.
This notebook is from the Deep Reinforcement Learning Course¶
In this free course, you will:
- 📖 Study Deep Reinforcement Learning in theory and practice.
- 🧑💻 Learn to use famous Deep RL libraries such as Stable Baselines3, RL Baselines3 Zoo, CleanRL and Sample Factory 2.0.
- 🤖 Train agents in unique environments
Don’t forget to sign up to the course (we are collecting your email to be able to send you the links when each Unit is published and give you information about the challenges and updates).
The best way to keep in touch is to join our discord server to exchange with the community and with us 👉🏻 https://discord.gg/ydHrjt3WP5
To validate this hands-on for the certification process, you need to push one model, we don't ask for a minimal result but we advise you to try different hyperparameters settings to get better results.
If you don't find your model, go to the bottom of the page and click on the refresh button
For more information about the certification process, check this section 👉 https://huggingface.co/deep-rl-course/en/unit0/introduction#certification-process
Set the GPU 💪¶
- To accelerate the agent's training, we'll use a GPU. To do that, go to
Runtime > Change Runtime type
Hardware Accelerator > GPU
Create a virtual display 🔽¶
During the notebook, we'll need to generate a replay video. To do so, with colab, we need to have a virtual screen to be able to render the environment (and thus record the frames).
Hence the following cell will install the libraries and create and run a virtual screen 🖥
In [2]:
%%capture
!apt install python-opengl
!apt install ffmpeg
!apt install xvfb
!apt install swig cmake
!pip install pyglet==1.5
!pip3 install pyvirtualdisplay
In [3]:
# Virtual display
from pyvirtualdisplay import Display
virtual_display = Display(visible=0, size=(1400, 900))
virtual_display.start()
Out[3]:
<pyvirtualdisplay.display.Display at 0x79bd0b73bf80>
Install dependencies 🔽¶
For this exercise, we use gym==0.22.
In [4]:
!pip install gym==0.22
!pip install imageio-ffmpeg
!pip install huggingface_hub
!pip install gym[box2d]==0.22
Collecting gym==0.22
Downloading gym-0.22.0.tar.gz (631 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 0.0/631.1 kB ? eta -:--:--
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━╸ 624.6/631.1 kB 23.8 MB/s eta 0:00:01
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 631.1/631.1 kB 15.7 MB/s eta 0:00:00
Installing build dependencies ... done
Getting requirements to build wheel ... done
Preparing metadata (pyproject.toml) ... done
Requirement already satisfied: numpy>=1.18.0 in /usr/local/lib/python3.12/dist-packages (from gym==0.22) (2.0.2)
Requirement already satisfied: cloudpickle>=1.2.0 in /usr/local/lib/python3.12/dist-packages (from gym==0.22) (3.1.2)
Requirement already satisfied: gym_notices>=0.0.4 in /usr/local/lib/python3.12/dist-packages (from gym==0.22) (0.1.0)
Building wheels for collected packages: gym
Building wheel for gym (pyproject.toml) ... done
Created wheel for gym: filename=gym-0.22.0-py3-none-any.whl size=708475 sha256=f01942d49b98d5e94a44e7a608ba251859faaeb5a980880c3447a3702c9fc35c
Stored in directory: /root/.cache/pip/wheels/fd/bd/03/a325acb1df8746ce0573ffdf8730f4e7d32f4aa839a56f1b2f
Successfully built gym
Installing collected packages: gym
Attempting uninstall: gym
Found existing installation: gym 0.25.2
Uninstalling gym-0.25.2:
Successfully uninstalled gym-0.25.2
Successfully installed gym-0.22.0
Requirement already satisfied: imageio-ffmpeg in /usr/local/lib/python3.12/dist-packages (0.6.0)
Requirement already satisfied: huggingface_hub in /usr/local/lib/python3.12/dist-packages (1.4.1)
Requirement already satisfied: filelock in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (3.21.0)
Requirement already satisfied: fsspec>=2023.5.0 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (2025.3.0)
Requirement already satisfied: hf-xet<2.0.0,>=1.2.0 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (1.2.0)
Requirement already satisfied: httpx<1,>=0.23.0 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (0.28.1)
Requirement already satisfied: packaging>=20.9 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (26.0)
Requirement already satisfied: pyyaml>=5.1 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (6.0.3)
Requirement already satisfied: shellingham in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (1.5.4)
Requirement already satisfied: tqdm>=4.42.1 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (4.67.3)
Requirement already satisfied: typer-slim in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (0.23.0)
Requirement already satisfied: typing-extensions>=4.1.0 in /usr/local/lib/python3.12/dist-packages (from huggingface_hub) (4.15.0)
Requirement already satisfied: anyio in /usr/local/lib/python3.12/dist-packages (from httpx<1,>=0.23.0->huggingface_hub) (4.12.1)
Requirement already satisfied: certifi in /usr/local/lib/python3.12/dist-packages (from httpx<1,>=0.23.0->huggingface_hub) (2026.1.4)
Requirement already satisfied: httpcore==1.* in /usr/local/lib/python3.12/dist-packages (from httpx<1,>=0.23.0->huggingface_hub) (1.0.9)
Requirement already satisfied: idna in /usr/local/lib/python3.12/dist-packages (from httpx<1,>=0.23.0->huggingface_hub) (3.11)
Requirement already satisfied: h11>=0.16 in /usr/local/lib/python3.12/dist-packages (from httpcore==1.*->httpx<1,>=0.23.0->huggingface_hub) (0.16.0)
Requirement already satisfied: typer>=0.23.0 in /usr/local/lib/python3.12/dist-packages (from typer-slim->huggingface_hub) (0.23.0)
Requirement already satisfied: click>=8.0.0 in /usr/local/lib/python3.12/dist-packages (from typer>=0.23.0->typer-slim->huggingface_hub) (8.3.1)
Requirement already satisfied: rich>=10.11.0 in /usr/local/lib/python3.12/dist-packages (from typer>=0.23.0->typer-slim->huggingface_hub) (13.9.4)
Requirement already satisfied: annotated-doc>=0.0.2 in /usr/local/lib/python3.12/dist-packages (from typer>=0.23.0->typer-slim->huggingface_hub) (0.0.4)
Requirement already satisfied: markdown-it-py>=2.2.0 in /usr/local/lib/python3.12/dist-packages (from rich>=10.11.0->typer>=0.23.0->typer-slim->huggingface_hub) (4.0.0)
Requirement already satisfied: pygments<3.0.0,>=2.13.0 in /usr/local/lib/python3.12/dist-packages (from rich>=10.11.0->typer>=0.23.0->typer-slim->huggingface_hub) (2.19.2)
Requirement already satisfied: mdurl~=0.1 in /usr/local/lib/python3.12/dist-packages (from markdown-it-py>=2.2.0->rich>=10.11.0->typer>=0.23.0->typer-slim->huggingface_hub) (0.1.2)
Requirement already satisfied: gym==0.22 in /usr/local/lib/python3.12/dist-packages (from gym[box2d]==0.22) (0.22.0)
Requirement already satisfied: numpy>=1.18.0 in /usr/local/lib/python3.12/dist-packages (from gym==0.22->gym[box2d]==0.22) (2.0.2)
Requirement already satisfied: cloudpickle>=1.2.0 in /usr/local/lib/python3.12/dist-packages (from gym==0.22->gym[box2d]==0.22) (3.1.2)
Requirement already satisfied: gym_notices>=0.0.4 in /usr/local/lib/python3.12/dist-packages (from gym==0.22->gym[box2d]==0.22) (0.1.0)
Collecting box2d-py==2.3.5 (from gym[box2d]==0.22)
Downloading box2d-py-2.3.5.tar.gz (374 kB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 374.4/374.4 kB 13.5 MB/s eta 0:00:00
Preparing metadata (setup.py) ... done
Collecting pygame==2.1.0 (from gym[box2d]==0.22)
Downloading pygame-2.1.0.tar.gz (5.8 MB)
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 5.8/5.8 MB 109.6 MB/s eta 0:00:00
error: subprocess-exited-with-error
× python setup.py egg_info did not run successfully.
│ exit code: 1
╰─> See above for output.
note: This error originates from a subprocess, and is likely not a problem with pip.
Preparing metadata (setup.py) ... error
error: metadata-generation-failed
× Encountered error while generating package metadata.
╰─> See above for output.
note: This is an issue with the package mentioned above, not pip.
hint: See above for details.
Let's code PPO from scratch with Costa Huang tutorial¶
- For the core implementation of PPO we're going to use the excellent Costa Huang tutorial.
- In addition to the tutorial, to go deeper you can read the 37 core implementation details: https://iclr-blog-track.github.io/2022/03/25/ppo-implementation-details/
👉 The video tutorial: https://youtu.be/MEt6rrxH8W4
In [5]:
from IPython.display import HTML
HTML('<iframe width="560" height="315" src="https://www.youtube.com/embed/MEt6rrxH8W4" title="YouTube video player" frameborder="0" allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture" allowfullscreen></iframe>')
/usr/local/lib/python3.12/dist-packages/IPython/core/display.py:724: UserWarning: Consider using IPython.display.IFrame instead
warnings.warn("Consider using IPython.display.IFrame instead")
Out[5]:
- The best is to code first on the cell below, this way, if you kill the machine you don't loose the implementation.
In [ ]:
### Your code here:
Add the Hugging Face Integration 🤗¶
- In order to push our model to the Hub, we need to define a function
package_to_hub
- Add dependencies we need to push our model to the Hub
In [ ]:
from huggingface_hub import HfApi, upload_folder
from huggingface_hub.repocard import metadata_eval_result, metadata_save
from pathlib import Path
import datetime
import tempfile
import json
import shutil
import imageio
from wasabi import Printer
msg = Printer()
- Add new argument in
parse_args()function to define the repo-id where we want to push the model.
In [ ]:
# Adding HuggingFace argument
parser.add_argument("--repo-id", type=str, default="ThomasSimonini/ppo-CartPole-v1", help="id of the model repository from the Hugging Face Hub {username/repo_name}")
Next, we add the methods needed to push the model to the Hub
These methods will:
_evalutate_agent(): evaluate the agent._generate_model_card(): generate the model card of your agent._record_video(): record a video of your agent.
In [ ]:
def package_to_hub(repo_id,
model,
hyperparameters,
eval_env,
video_fps=30,
commit_message="Push agent to the Hub",
token= None,
logs=None
):
"""
Evaluate, Generate a video and Upload a model to Hugging Face Hub.
This method does the complete pipeline:
- It evaluates the model
- It generates the model card
- It generates a replay video of the agent
- It pushes everything to the hub
:param repo_id: id of the model repository from the Hugging Face Hub
:param model: trained model
:param eval_env: environment used to evaluate the agent
:param fps: number of fps for rendering the video
:param commit_message: commit message
:param logs: directory on local machine of tensorboard logs you'd like to upload
"""
msg.info(
"This function will save, evaluate, generate a video of your agent, "
"create a model card and push everything to the hub. "
"It might take up to 1min. \n "
"This is a work in progress: if you encounter a bug, please open an issue."
)
# Step 1: Clone or create the repo
repo_url = HfApi().create_repo(
repo_id=repo_id,
token=token,
private=False,
exist_ok=True,
)
with tempfile.TemporaryDirectory() as tmpdirname:
tmpdirname = Path(tmpdirname)
# Step 2: Save the model
torch.save(model.state_dict(), tmpdirname / "model.pt")
# Step 3: Evaluate the model and build JSON
mean_reward, std_reward = _evaluate_agent(eval_env,
10,
model)
# First get datetime
eval_datetime = datetime.datetime.now()
eval_form_datetime = eval_datetime.isoformat()
evaluate_data = {
"env_id": hyperparameters.env_id,
"mean_reward": mean_reward,
"std_reward": std_reward,
"n_evaluation_episodes": 10,
"eval_datetime": eval_form_datetime,
}
# Write a JSON file
with open(tmpdirname / "results.json", "w") as outfile:
json.dump(evaluate_data, outfile)
# Step 4: Generate a video
video_path = tmpdirname / "replay.mp4"
record_video(eval_env, model, video_path, video_fps)
# Step 5: Generate the model card
generated_model_card, metadata = _generate_model_card("PPO", hyperparameters.env_id, mean_reward, std_reward, hyperparameters)
_save_model_card(tmpdirname, generated_model_card, metadata)
# Step 6: Add logs if needed
if logs:
_add_logdir(tmpdirname, Path(logs))
msg.info(f"Pushing repo {repo_id} to the Hugging Face Hub")
repo_url = upload_folder(
repo_id=repo_id,
folder_path=tmpdirname,
path_in_repo="",
commit_message=commit_message,
token=token,
)
msg.info(f"Your model is pushed to the Hub. You can view your model here: {repo_url}")
return repo_url
def _evaluate_agent(env, n_eval_episodes, policy):
"""
Evaluate the agent for ``n_eval_episodes`` episodes and returns average reward and std of reward.
:param env: The evaluation environment
:param n_eval_episodes: Number of episode to evaluate the agent
:param policy: The agent
"""
episode_rewards = []
for episode in range(n_eval_episodes):
state = env.reset()
step = 0
done = False
total_rewards_ep = 0
while done is False:
state = torch.Tensor(state).to(device)
action, _, _, _ = policy.get_action_and_value(state)
new_state, reward, done, info = env.step(action.cpu().numpy())
total_rewards_ep += reward
if done:
break
state = new_state
episode_rewards.append(total_rewards_ep)
mean_reward = np.mean(episode_rewards)
std_reward = np.std(episode_rewards)
return mean_reward, std_reward
def record_video(env, policy, out_directory, fps=30):
images = []
done = False
state = env.reset()
img = env.render(mode='rgb_array')
images.append(img)
while not done:
state = torch.Tensor(state).to(device)
# Take the action (index) that have the maximum expected future reward given that state
action, _, _, _ = policy.get_action_and_value(state)
state, reward, done, info = env.step(action.cpu().numpy()) # We directly put next_state = state for recording logic
img = env.render(mode='rgb_array')
images.append(img)
imageio.mimsave(out_directory, [np.array(img) for i, img in enumerate(images)], fps=fps)
def _generate_model_card(model_name, env_id, mean_reward, std_reward, hyperparameters):
"""
Generate the model card for the Hub
:param model_name: name of the model
:env_id: name of the environment
:mean_reward: mean reward of the agent
:std_reward: standard deviation of the mean reward of the agent
:hyperparameters: training arguments
"""
# Step 1: Select the tags
metadata = generate_metadata(model_name, env_id, mean_reward, std_reward)
# Transform the hyperparams namespace to string
converted_dict = vars(hyperparameters)
converted_str = str(converted_dict)
converted_str = converted_str.split(", ")
converted_str = '\n'.join(converted_str)
# Step 2: Generate the model card
model_card = f"""
# PPO Agent Playing {env_id}
This is a trained model of a PPO agent playing {env_id}.
# Hyperparameters
```python
{converted_str}
```
"""
return model_card, metadata
def generate_metadata(model_name, env_id, mean_reward, std_reward):
"""
Define the tags for the model card
:param model_name: name of the model
:param env_id: name of the environment
:mean_reward: mean reward of the agent
:std_reward: standard deviation of the mean reward of the agent
"""
metadata = {}
metadata["tags"] = [
env_id,
"ppo",
"deep-reinforcement-learning",
"reinforcement-learning",
"custom-implementation",
"deep-rl-course"
]
# Add metrics
eval = metadata_eval_result(
model_pretty_name=model_name,
task_pretty_name="reinforcement-learning",
task_id="reinforcement-learning",
metrics_pretty_name="mean_reward",
metrics_id="mean_reward",
metrics_value=f"{mean_reward:.2f} +/- {std_reward:.2f}",
dataset_pretty_name=env_id,
dataset_id=env_id,
)
# Merges both dictionaries
metadata = {**metadata, **eval}
return metadata
def _save_model_card(local_path, generated_model_card, metadata):
"""Saves a model card for the repository.
:param local_path: repository directory
:param generated_model_card: model card generated by _generate_model_card()
:param metadata: metadata
"""
readme_path = local_path / "README.md"
readme = ""
if readme_path.exists():
with readme_path.open("r", encoding="utf8") as f:
readme = f.read()
else:
readme = generated_model_card
with readme_path.open("w", encoding="utf-8") as f:
f.write(readme)
# Save our metrics to Readme metadata
metadata_save(readme_path, metadata)
def _add_logdir(local_path: Path, logdir: Path):
"""Adds a logdir to the repository.
:param local_path: repository directory
:param logdir: logdir directory
"""
if logdir.exists() and logdir.is_dir():
# Add the logdir to the repository under new dir called logs
repo_logdir = local_path / "logs"
# Delete current logs if they exist
if repo_logdir.exists():
shutil.rmtree(repo_logdir)
# Copy logdir into repo logdir
shutil.copytree(logdir, repo_logdir)
- Finally, we call this function at the end of the PPO training
In [ ]:
# Create the evaluation environment
eval_env = gym.make(args.env_id)
package_to_hub(repo_id = args.repo_id,
model = agent, # The model we want to save
hyperparameters = args,
eval_env = gym.make(args.env_id),
logs= f"runs/{run_name}",
)
- Here's what look the ppo.py final file
In [ ]:
# docs and experiment results can be found at https://docs.cleanrl.dev/rl-algorithms/ppo/#ppopy
import argparse
import os
import random
import time
# from distutils.util import strtobool
import gym
import numpy as np
import torch
import torch.nn as nn
import torch.optim as optim
from torch.distributions.categorical import Categorical
from torch.utils.tensorboard import SummaryWriter
from huggingface_hub import HfApi, upload_folder
from huggingface_hub.repocard import metadata_eval_result, metadata_save
from pathlib import Path
import datetime
import tempfile
import json
import shutil
import imageio
from wasabi import Printer
msg = Printer()
def strtobool(val):
val = str(val).lower()
if val in ('y', 'yes', 't', 'true', 'on', '1'):
return True
elif val in ('n', 'no', 'f', 'false', 'off', '0'):
return False
else:
raise ValueError(f"Invalid truth value: {val!r}")
def parse_args():
# fmt: off
parser = argparse.ArgumentParser()
parser.add_argument("--exp-name", type=str, default=os.path.basename(__file__).rstrip(".py"),
help="the name of this experiment")
parser.add_argument("--seed", type=int, default=1,
help="seed of the experiment")
parser.add_argument("--torch-deterministic", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="if toggled, `torch.backends.cudnn.deterministic=False`")
parser.add_argument("--cuda", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="if toggled, cuda will be enabled by default")
parser.add_argument("--track", type=lambda x: bool(strtobool(x)), default=False, nargs="?", const=True,
help="if toggled, this experiment will be tracked with Weights and Biases")
parser.add_argument("--wandb-project-name", type=str, default="cleanRL",
help="the wandb's project name")
parser.add_argument("--wandb-entity", type=str, default=None,
help="the entity (team) of wandb's project")
parser.add_argument("--capture-video", type=lambda x: bool(strtobool(x)), default=False, nargs="?", const=True,
help="weather to capture videos of the agent performances (check out `videos` folder)")
# Algorithm specific arguments
parser.add_argument("--env-id", type=str, default="CartPole-v1",
help="the id of the environment")
parser.add_argument("--total-timesteps", type=int, default=50000,
help="total timesteps of the experiments")
parser.add_argument("--learning-rate", type=float, default=2.5e-4,
help="the learning rate of the optimizer")
parser.add_argument("--num-envs", type=int, default=4,
help="the number of parallel game environments")
parser.add_argument("--num-steps", type=int, default=128,
help="the number of steps to run in each environment per policy rollout")
parser.add_argument("--anneal-lr", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="Toggle learning rate annealing for policy and value networks")
parser.add_argument("--gae", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="Use GAE for advantage computation")
parser.add_argument("--gamma", type=float, default=0.99,
help="the discount factor gamma")
parser.add_argument("--gae-lambda", type=float, default=0.95,
help="the lambda for the general advantage estimation")
parser.add_argument("--num-minibatches", type=int, default=4,
help="the number of mini-batches")
parser.add_argument("--update-epochs", type=int, default=4,
help="the K epochs to update the policy")
parser.add_argument("--norm-adv", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="Toggles advantages normalization")
parser.add_argument("--clip-coef", type=float, default=0.2,
help="the surrogate clipping coefficient")
parser.add_argument("--clip-vloss", type=lambda x: bool(strtobool(x)), default=True, nargs="?", const=True,
help="Toggles whether or not to use a clipped loss for the value function, as per the paper.")
parser.add_argument("--ent-coef", type=float, default=0.01,
help="coefficient of the entropy")
parser.add_argument("--vf-coef", type=float, default=0.5,
help="coefficient of the value function")
parser.add_argument("--max-grad-norm", type=float, default=0.5,
help="the maximum norm for the gradient clipping")
parser.add_argument("--target-kl", type=float, default=None,
help="the target KL divergence threshold")
# Adding HuggingFace argument
parser.add_argument("--repo-id", type=str, default="ThomasSimonini/ppo-CartPole-v1", help="id of the model repository from the Hugging Face Hub {username/repo_name}")
args = parser.parse_args()
args.batch_size = int(args.num_envs * args.num_steps)
args.minibatch_size = int(args.batch_size // args.num_minibatches)
# fmt: on
return args
def package_to_hub(repo_id,
model,
hyperparameters,
eval_env,
video_fps=30,
commit_message="Push agent to the Hub",
token= None,
logs=None
):
"""
Evaluate, Generate a video and Upload a model to Hugging Face Hub.
This method does the complete pipeline:
- It evaluates the model
- It generates the model card
- It generates a replay video of the agent
- It pushes everything to the hub
:param repo_id: id of the model repository from the Hugging Face Hub
:param model: trained model
:param eval_env: environment used to evaluate the agent
:param fps: number of fps for rendering the video
:param commit_message: commit message
:param logs: directory on local machine of tensorboard logs you'd like to upload
"""
msg.info(
"This function will save, evaluate, generate a video of your agent, "
"create a model card and push everything to the hub. "
"It might take up to 1min. \n "
"This is a work in progress: if you encounter a bug, please open an issue."
)
# Step 1: Clone or create the repo
repo_url = HfApi().create_repo(
repo_id=repo_id,
token=token,
private=False,
exist_ok=True,
)
with tempfile.TemporaryDirectory() as tmpdirname:
tmpdirname = Path(tmpdirname)
# Step 2: Save the model
torch.save(model.state_dict(), tmpdirname / "model.pt")
# Step 3: Evaluate the model and build JSON
mean_reward, std_reward = _evaluate_agent(eval_env,
10,
model)
# First get datetime
eval_datetime = datetime.datetime.now()
eval_form_datetime = eval_datetime.isoformat()
evaluate_data = {
"env_id": hyperparameters.env_id,
"mean_reward": mean_reward,
"std_reward": std_reward,
"n_evaluation_episodes": 10,
"eval_datetime": eval_form_datetime,
}
# Write a JSON file
with open(tmpdirname / "results.json", "w") as outfile:
json.dump(evaluate_data, outfile)
# Step 4: Generate a video
video_path = tmpdirname / "replay.mp4"
record_video(eval_env, model, video_path, video_fps)
# Step 5: Generate the model card
generated_model_card, metadata = _generate_model_card("PPO", hyperparameters.env_id, mean_reward, std_reward, hyperparameters)
_save_model_card(tmpdirname, generated_model_card, metadata)
# Step 6: Add logs if needed
if logs:
_add_logdir(tmpdirname, Path(logs))
msg.info(f"Pushing repo {repo_id} to the Hugging Face Hub")
repo_url = upload_folder(
repo_id=repo_id,
folder_path=tmpdirname,
path_in_repo="",
commit_message=commit_message,
token=token,
)
msg.info(f"Your model is pushed to the Hub. You can view your model here: {repo_url}")
return repo_url
def _evaluate_agent(env, n_eval_episodes, policy):
"""
Evaluate the agent for ``n_eval_episodes`` episodes and returns average reward and std of reward.
:param env: The evaluation environment
:param n_eval_episodes: Number of episode to evaluate the agent
:param policy: The agent
"""
episode_rewards = []
for episode in range(n_eval_episodes):
state = env.reset()
step = 0
done = False
total_rewards_ep = 0
while done is False:
state = torch.Tensor(state).to(device)
action, _, _, _ = policy.get_action_and_value(state)
new_state, reward, done, info = env.step(action.cpu().numpy())
total_rewards_ep += reward
if done:
break
state = new_state
episode_rewards.append(total_rewards_ep)
mean_reward = np.mean(episode_rewards)
std_reward = np.std(episode_rewards)
return mean_reward, std_reward
def record_video(env, policy, out_directory, fps=30):
images = []
done = False
state = env.reset()
img = env.render(mode='rgb_array')
images.append(img)
while not done:
state = torch.Tensor(state).to(device)
# Take the action (index) that have the maximum expected future reward given that state
action, _, _, _ = policy.get_action_and_value(state)
state, reward, done, info = env.step(action.cpu().numpy()) # We directly put next_state = state for recording logic
img = env.render(mode='rgb_array')
images.append(img)
imageio.mimsave(out_directory, [np.array(img) for i, img in enumerate(images)], fps=fps)
def _generate_model_card(model_name, env_id, mean_reward, std_reward, hyperparameters):
"""
Generate the model card for the Hub
:param model_name: name of the model
:env_id: name of the environment
:mean_reward: mean reward of the agent
:std_reward: standard deviation of the mean reward of the agent
:hyperparameters: training arguments
"""
# Step 1: Select the tags
metadata = generate_metadata(model_name, env_id, mean_reward, std_reward)
# Transform the hyperparams namespace to string
converted_dict = vars(hyperparameters)
converted_str = str(converted_dict)
converted_str = converted_str.split(", ")
converted_str = '\n'.join(converted_str)
# Step 2: Generate the model card
model_card = f"""
# PPO Agent Playing {env_id}
This is a trained model of a PPO agent playing {env_id}.
# Hyperparameters
```python
{converted_str}
```
"""
return model_card, metadata
def generate_metadata(model_name, env_id, mean_reward, std_reward):
"""
Define the tags for the model card
:param model_name: name of the model
:param env_id: name of the environment
:mean_reward: mean reward of the agent
:std_reward: standard deviation of the mean reward of the agent
"""
metadata = {}
metadata["tags"] = [
env_id,
"ppo",
"deep-reinforcement-learning",
"reinforcement-learning",
"custom-implementation",
"deep-rl-course"
]
# Add metrics
eval = metadata_eval_result(
model_pretty_name=model_name,
task_pretty_name="reinforcement-learning",
task_id="reinforcement-learning",
metrics_pretty_name="mean_reward",
metrics_id="mean_reward",
metrics_value=f"{mean_reward:.2f} +/- {std_reward:.2f}",
dataset_pretty_name=env_id,
dataset_id=env_id,
)
# Merges both dictionaries
metadata = {**metadata, **eval}
return metadata
def _save_model_card(local_path, generated_model_card, metadata):
"""Saves a model card for the repository.
:param local_path: repository directory
:param generated_model_card: model card generated by _generate_model_card()
:param metadata: metadata
"""
readme_path = local_path / "README.md"
readme = ""
if readme_path.exists():
with readme_path.open("r", encoding="utf8") as f:
readme = f.read()
else:
readme = generated_model_card
with readme_path.open("w", encoding="utf-8") as f:
f.write(readme)
# Save our metrics to Readme metadata
metadata_save(readme_path, metadata)
def _add_logdir(local_path: Path, logdir: Path):
"""Adds a logdir to the repository.
:param local_path: repository directory
:param logdir: logdir directory
"""
if logdir.exists() and logdir.is_dir():
# Add the logdir to the repository under new dir called logs
repo_logdir = local_path / "logs"
# Delete current logs if they exist
if repo_logdir.exists():
shutil.rmtree(repo_logdir)
# Copy logdir into repo logdir
shutil.copytree(logdir, repo_logdir)
def make_env(env_id, seed, idx, capture_video, run_name):
def thunk():
env = gym.make(env_id)
env = gym.wrappers.RecordEpisodeStatistics(env)
if capture_video:
if idx == 0:
env = gym.wrappers.RecordVideo(env, f"videos/{run_name}")
env.seed(seed)
env.action_space.seed(seed)
env.observation_space.seed(seed)
return env
return thunk
def layer_init(layer, std=np.sqrt(2), bias_const=0.0):
torch.nn.init.orthogonal_(layer.weight, std)
torch.nn.init.constant_(layer.bias, bias_const)
return layer
class Agent(nn.Module):
def __init__(self, envs):
super().__init__()
self.critic = nn.Sequential(
layer_init(nn.Linear(np.array(envs.single_observation_space.shape).prod(), 64)),
nn.Tanh(),
layer_init(nn.Linear(64, 64)),
nn.Tanh(),
layer_init(nn.Linear(64, 1), std=1.0),
)
self.actor = nn.Sequential(
layer_init(nn.Linear(np.array(envs.single_observation_space.shape).prod(), 64)),
nn.Tanh(),
layer_init(nn.Linear(64, 64)),
nn.Tanh(),
layer_init(nn.Linear(64, envs.single_action_space.n), std=0.01),
)
def get_value(self, x):
return self.critic(x)
def get_action_and_value(self, x, action=None):
logits = self.actor(x)
probs = Categorical(logits=logits)
if action is None:
action = probs.sample()
return action, probs.log_prob(action), probs.entropy(), self.critic(x)
if __name__ == "__main__":
args = parse_args()
run_name = f"{args.env_id}__{args.exp_name}__{args.seed}__{int(time.time())}"
if args.track:
import wandb
wandb.init(
project=args.wandb_project_name,
entity=args.wandb_entity,
sync_tensorboard=True,
config=vars(args),
name=run_name,
monitor_gym=True,
save_code=True,
)
writer = SummaryWriter(f"runs/{run_name}")
writer.add_text(
"hyperparameters",
"|param|value|\n|-|-|\n%s" % ("\n".join([f"|{key}|{value}|" for key, value in vars(args).items()])),
)
# TRY NOT TO MODIFY: seeding
random.seed(args.seed)
np.random.seed(args.seed)
torch.manual_seed(args.seed)
torch.backends.cudnn.deterministic = args.torch_deterministic
device = torch.device("cuda" if torch.cuda.is_available() and args.cuda else "cpu")
# env setup
envs = gym.vector.SyncVectorEnv(
[make_env(args.env_id, args.seed + i, i, args.capture_video, run_name) for i in range(args.num_envs)]
)
assert isinstance(envs.single_action_space, gym.spaces.Discrete), "only discrete action space is supported"
agent = Agent(envs).to(device)
optimizer = optim.Adam(agent.parameters(), lr=args.learning_rate, eps=1e-5)
# ALGO Logic: Storage setup
obs = torch.zeros((args.num_steps, args.num_envs) + envs.single_observation_space.shape).to(device)
actions = torch.zeros((args.num_steps, args.num_envs) + envs.single_action_space.shape).to(device)
logprobs = torch.zeros((args.num_steps, args.num_envs)).to(device)
rewards = torch.zeros((args.num_steps, args.num_envs)).to(device)
dones = torch.zeros((args.num_steps, args.num_envs)).to(device)
values = torch.zeros((args.num_steps, args.num_envs)).to(device)
# TRY NOT TO MODIFY: start the game
global_step = 0
start_time = time.time()
next_obs = torch.Tensor(envs.reset()).to(device)
next_done = torch.zeros(args.num_envs).to(device)
num_updates = args.total_timesteps // args.batch_size
for update in range(1, num_updates + 1):
# Annealing the rate if instructed to do so.
if args.anneal_lr:
frac = 1.0 - (update - 1.0) / num_updates
lrnow = frac * args.learning_rate
optimizer.param_groups[0]["lr"] = lrnow
for step in range(0, args.num_steps):
global_step += 1 * args.num_envs
obs[step] = next_obs
dones[step] = next_done
# ALGO LOGIC: action logic
with torch.no_grad():
action, logprob, _, value = agent.get_action_and_value(next_obs)
values[step] = value.flatten()
actions[step] = action
logprobs[step] = logprob
# TRY NOT TO MODIFY: execute the game and log data.
next_obs, reward, done, info = envs.step(action.cpu().numpy())
rewards[step] = torch.tensor(reward).to(device).view(-1)
next_obs, next_done = torch.Tensor(next_obs).to(device), torch.Tensor(done).to(device)
for item in info:
if "episode" in item.keys():
print(f"global_step={global_step}, episodic_return={item['episode']['r']}")
writer.add_scalar("charts/episodic_return", item["episode"]["r"], global_step)
writer.add_scalar("charts/episodic_length", item["episode"]["l"], global_step)
break
# bootstrap value if not done
with torch.no_grad():
next_value = agent.get_value(next_obs).reshape(1, -1)
if args.gae:
advantages = torch.zeros_like(rewards).to(device)
lastgaelam = 0
for t in reversed(range(args.num_steps)):
if t == args.num_steps - 1:
nextnonterminal = 1.0 - next_done
nextvalues = next_value
else:
nextnonterminal = 1.0 - dones[t + 1]
nextvalues = values[t + 1]
delta = rewards[t] + args.gamma * nextvalues * nextnonterminal - values[t]
advantages[t] = lastgaelam = delta + args.gamma * args.gae_lambda * nextnonterminal * lastgaelam
returns = advantages + values
else:
returns = torch.zeros_like(rewards).to(device)
for t in reversed(range(args.num_steps)):
if t == args.num_steps - 1:
nextnonterminal = 1.0 - next_done
next_return = next_value
else:
nextnonterminal = 1.0 - dones[t + 1]
next_return = returns[t + 1]
returns[t] = rewards[t] + args.gamma * nextnonterminal * next_return
advantages = returns - values
# flatten the batch
b_obs = obs.reshape((-1,) + envs.single_observation_space.shape)
b_logprobs = logprobs.reshape(-1)
b_actions = actions.reshape((-1,) + envs.single_action_space.shape)
b_advantages = advantages.reshape(-1)
b_returns = returns.reshape(-1)
b_values = values.reshape(-1)
# Optimizing the policy and value network
b_inds = np.arange(args.batch_size)
clipfracs = []
for epoch in range(args.update_epochs):
np.random.shuffle(b_inds)
for start in range(0, args.batch_size, args.minibatch_size):
end = start + args.minibatch_size
mb_inds = b_inds[start:end]
_, newlogprob, entropy, newvalue = agent.get_action_and_value(b_obs[mb_inds], b_actions.long()[mb_inds])
logratio = newlogprob - b_logprobs[mb_inds]
ratio = logratio.exp()
with torch.no_grad():
# calculate approx_kl http://joschu.net/blog/kl-approx.html
old_approx_kl = (-logratio).mean()
approx_kl = ((ratio - 1) - logratio).mean()
clipfracs += [((ratio - 1.0).abs() > args.clip_coef).float().mean().item()]
mb_advantages = b_advantages[mb_inds]
if args.norm_adv:
mb_advantages = (mb_advantages - mb_advantages.mean()) / (mb_advantages.std() + 1e-8)
# Policy loss
pg_loss1 = -mb_advantages * ratio
pg_loss2 = -mb_advantages * torch.clamp(ratio, 1 - args.clip_coef, 1 + args.clip_coef)
pg_loss = torch.max(pg_loss1, pg_loss2).mean()
# Value loss
newvalue = newvalue.view(-1)
if args.clip_vloss:
v_loss_unclipped = (newvalue - b_returns[mb_inds]) ** 2
v_clipped = b_values[mb_inds] + torch.clamp(
newvalue - b_values[mb_inds],
-args.clip_coef,
args.clip_coef,
)
v_loss_clipped = (v_clipped - b_returns[mb_inds]) ** 2
v_loss_max = torch.max(v_loss_unclipped, v_loss_clipped)
v_loss = 0.5 * v_loss_max.mean()
else:
v_loss = 0.5 * ((newvalue - b_returns[mb_inds]) ** 2).mean()
entropy_loss = entropy.mean()
loss = pg_loss - args.ent_coef * entropy_loss + v_loss * args.vf_coef
optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(agent.parameters(), args.max_grad_norm)
optimizer.step()
if args.target_kl is not None:
if approx_kl > args.target_kl:
break
y_pred, y_true = b_values.cpu().numpy(), b_returns.cpu().numpy()
var_y = np.var(y_true)
explained_var = np.nan if var_y == 0 else 1 - np.var(y_true - y_pred) / var_y
# TRY NOT TO MODIFY: record rewards for plotting purposes
writer.add_scalar("charts/learning_rate", optimizer.param_groups[0]["lr"], global_step)
writer.add_scalar("losses/value_loss", v_loss.item(), global_step)
writer.add_scalar("losses/policy_loss", pg_loss.item(), global_step)
writer.add_scalar("losses/entropy", entropy_loss.item(), global_step)
writer.add_scalar("losses/old_approx_kl", old_approx_kl.item(), global_step)
writer.add_scalar("losses/approx_kl", approx_kl.item(), global_step)
writer.add_scalar("losses/clipfrac", np.mean(clipfracs), global_step)
writer.add_scalar("losses/explained_variance", explained_var, global_step)
print("SPS:", int(global_step / (time.time() - start_time)))
writer.add_scalar("charts/SPS", int(global_step / (time.time() - start_time)), global_step)
envs.close()
writer.close()
# Create the evaluation environment
eval_env = gym.make(args.env_id)
package_to_hub(repo_id = args.repo_id,
model = agent, # The model we want to save
hyperparameters = args,
eval_env = gym.make(args.env_id),
logs= f"runs/{run_name}",
)
To be able to share your model with the community there are three more steps to follow:
1️⃣ (If it's not already done) create an account to HF ➡ https://huggingface.co/join
2️⃣ Sign in and then, you need to store your authentication token from the Hugging Face website.
- Create a new token (https://huggingface.co/settings/tokens) with write role
- Copy the token
- Run the cell below and paste the token
In [ ]:
from huggingface_hub import notebook_login
# notebook_login()
!git config --global credential.helper store
If you don't want to use a Google Colab or a Jupyter Notebook, you need to use this command instead: huggingface-cli login
Let's start the training 🔥¶
- ⚠️ ⚠️ ⚠️ Don't use the same repo id with the one you used for the Unit 1
- Now that you've coded from scratch PPO and added the Hugging Face Integration, we're ready to start the training 🔥
In [6]:
import os
from huggingface_hub import HfApi, login
def authenticate_huggingface():
"""Robust authentication for Colab, Kaggle, and Local environments."""
hf_token = None
# 1. Try Google Colab Secrets
try:
from google.colab import userdata
try:
hf_token = userdata.get("HF_TOKEN")
except userdata.SecretNotFoundError:
print("💡 Instruction: Add 'HF_TOKEN' to the Secrets tab (key icon) and enable access.")
except (ImportError, ModuleNotFoundError):
pass
# 2. Try Kaggle Secrets (if not on Colab)
if not hf_token:
try:
from kaggle_secrets import UserSecretsClient
hf_token = UserSecretsClient().get_secret("HF_TOKEN")
except (ImportError, ModuleNotFoundError, Exception):
pass
# 3. Try Environment Variables (Local/Docker)
if not hf_token:
hf_token = os.getenv("HF_TOKEN")
if not hf_token:
print("⚠️ No token found. Please set HF_TOKEN in your environment/secrets.")
return False
# Perform Login
try:
login(token=hf_token, add_to_git_credential=True)
api = HfApi()
user_info = api.whoami()
print(f"✅ Logged in as: {user_info['name']}")
return True
except Exception as e:
print(f"❌ Login failed: {e}")
return False
# Execute
authenticate_huggingface()
✅ Logged in as: Chiz
Out[6]:
True
- First, you need to copy all your code to a file you create called
ppo.py
Now we just need to run this python script using
python <name-of-python-script>.pywith the additional parameters we defined withargparseYou should modify more hyperparameters otherwise the training will not be super stable.
In [ ]:
# !python ppo.py --env-id="LunarLander-v2" --repo-id="Chiz" --total-timesteps=50000
In [7]:
# !pip install gym[box2d] gymnasium
# !pip install box2d-py
!pip install gymnasium[box2d] stable-baselines3
Collecting stable-baselines3 Downloading stable_baselines3-2.7.1-py3-none-any.whl.metadata (4.8 kB) Requirement already satisfied: gymnasium[box2d] in /usr/local/lib/python3.12/dist-packages (1.2.3) Requirement already satisfied: numpy>=1.21.0 in /usr/local/lib/python3.12/dist-packages (from gymnasium[box2d]) (2.0.2) Requirement already satisfied: cloudpickle>=1.2.0 in /usr/local/lib/python3.12/dist-packages (from gymnasium[box2d]) (3.1.2) Requirement already satisfied: typing-extensions>=4.3.0 in /usr/local/lib/python3.12/dist-packages (from gymnasium[box2d]) (4.15.0) Requirement already satisfied: farama-notifications>=0.0.1 in /usr/local/lib/python3.12/dist-packages (from gymnasium[box2d]) (0.0.4) Collecting box2d==2.3.10 (from gymnasium[box2d]) Downloading Box2D-2.3.10-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (573 bytes) Requirement already satisfied: pygame>=2.1.3 in /usr/local/lib/python3.12/dist-packages (from gymnasium[box2d]) (2.6.1) Collecting swig==4.* (from gymnasium[box2d]) Downloading swig-4.4.1-py3-none-manylinux_2_12_x86_64.manylinux2010_x86_64.whl.metadata (3.5 kB) Requirement already satisfied: torch<3.0,>=2.3 in /usr/local/lib/python3.12/dist-packages (from stable-baselines3) (2.9.0+cu128) Requirement already satisfied: pandas in /usr/local/lib/python3.12/dist-packages (from stable-baselines3) (2.2.2) Requirement already satisfied: matplotlib in /usr/local/lib/python3.12/dist-packages (from stable-baselines3) (3.10.0) Requirement already satisfied: filelock in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (3.21.0) Requirement already satisfied: setuptools in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (75.2.0) Requirement already satisfied: sympy>=1.13.3 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (1.14.0) Requirement already satisfied: networkx>=2.5.1 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (3.6.1) Requirement already satisfied: jinja2 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (3.1.6) Requirement already satisfied: fsspec>=0.8.5 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (2025.3.0) Requirement already satisfied: nvidia-cuda-nvrtc-cu12==12.8.93 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.93) Requirement already satisfied: nvidia-cuda-runtime-cu12==12.8.90 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.90) Requirement already satisfied: nvidia-cuda-cupti-cu12==12.8.90 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.90) Requirement already satisfied: nvidia-cudnn-cu12==9.10.2.21 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (9.10.2.21) Requirement already satisfied: nvidia-cublas-cu12==12.8.4.1 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.4.1) Requirement already satisfied: nvidia-cufft-cu12==11.3.3.83 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (11.3.3.83) Requirement already satisfied: nvidia-curand-cu12==10.3.9.90 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (10.3.9.90) Requirement already satisfied: nvidia-cusolver-cu12==11.7.3.90 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (11.7.3.90) Requirement already satisfied: nvidia-cusparse-cu12==12.5.8.93 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.5.8.93) Requirement already satisfied: nvidia-cusparselt-cu12==0.7.1 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (0.7.1) Requirement already satisfied: nvidia-nccl-cu12==2.27.5 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (2.27.5) Requirement already satisfied: nvidia-nvshmem-cu12==3.3.20 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (3.3.20) Requirement already satisfied: nvidia-nvtx-cu12==12.8.90 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.90) Requirement already satisfied: nvidia-nvjitlink-cu12==12.8.93 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (12.8.93) Requirement already satisfied: nvidia-cufile-cu12==1.13.1.3 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (1.13.1.3) Requirement already satisfied: triton==3.5.0 in /usr/local/lib/python3.12/dist-packages (from torch<3.0,>=2.3->stable-baselines3) (3.5.0) Requirement already satisfied: contourpy>=1.0.1 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (1.3.3) Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (0.12.1) Requirement already satisfied: fonttools>=4.22.0 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (4.61.1) Requirement already satisfied: kiwisolver>=1.3.1 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (1.4.9) Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (26.0) Requirement already satisfied: pillow>=8 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (11.3.0) Requirement already satisfied: pyparsing>=2.3.1 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (3.3.2) Requirement already satisfied: python-dateutil>=2.7 in /usr/local/lib/python3.12/dist-packages (from matplotlib->stable-baselines3) (2.9.0.post0) Requirement already satisfied: pytz>=2020.1 in /usr/local/lib/python3.12/dist-packages (from pandas->stable-baselines3) (2025.2) Requirement already satisfied: tzdata>=2022.7 in /usr/local/lib/python3.12/dist-packages (from pandas->stable-baselines3) (2025.3) Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.12/dist-packages (from python-dateutil>=2.7->matplotlib->stable-baselines3) (1.17.0) Requirement already satisfied: mpmath<1.4,>=1.1.0 in /usr/local/lib/python3.12/dist-packages (from sympy>=1.13.3->torch<3.0,>=2.3->stable-baselines3) (1.3.0) Requirement already satisfied: MarkupSafe>=2.0 in /usr/local/lib/python3.12/dist-packages (from jinja2->torch<3.0,>=2.3->stable-baselines3) (3.0.3) Downloading Box2D-2.3.10-cp312-cp312-manylinux_2_17_x86_64.manylinux2014_x86_64.whl (3.7 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 3.7/3.7 MB 67.1 MB/s eta 0:00:00 Downloading swig-4.4.1-py3-none-manylinux_2_12_x86_64.manylinux2010_x86_64.whl (1.9 MB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 1.9/1.9 MB 108.8 MB/s eta 0:00:00 Downloading stable_baselines3-2.7.1-py3-none-any.whl (188 kB) ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━ 188.0/188.0 kB 17.7 MB/s eta 0:00:00 Installing collected packages: swig, box2d, stable-baselines3 Successfully installed box2d-2.3.10 stable-baselines3-2.7.1 swig-4.4.1
In [ ]:
!python ppo.py \
--env-id="LunarLander-v2" \
--repo-id="Chiz/ppo-LunarLander-v2" \
--total-timesteps=1000000 \
--learning-rate=3e-4 \
--num-envs=16 \
--num-steps=512 \
--gamma=0.999 \
--gae-lambda=0.98 \
--num-minibatches=4 \
--update-epochs=4 \
--clip-coef=0.2 \
--ent-coef=0.01 \
--vf-coef=0.5 \
--max-grad-norm=0.5 \
--target-kl=0.015 \
--anneal-lr=True \
--gae=True \
--norm-adv=True \
--clip-vloss=True
Streaming output truncated to the last 5000 lines. global_step=259904, episodic_return=-112.81641387939453 global_step=259952, episodic_return=-94.92054748535156 global_step=260000, episodic_return=-83.27069091796875 global_step=260016, episodic_return=-20.380844116210938 global_step=260272, episodic_return=-123.12652587890625 global_step=260752, episodic_return=-154.81759643554688 global_step=260800, episodic_return=-133.22467041015625 global_step=260928, episodic_return=-58.5655632019043 global_step=261072, episodic_return=-71.9697265625 global_step=261152, episodic_return=-91.2805404663086 global_step=261168, episodic_return=-126.68614196777344 global_step=261360, episodic_return=-126.56214904785156 global_step=261408, episodic_return=-91.50617980957031 global_step=261536, episodic_return=-80.25674438476562 global_step=261568, episodic_return=-80.61287689208984 global_step=261664, episodic_return=-95.54706573486328 global_step=261872, episodic_return=-74.10773468017578 global_step=261952, episodic_return=-120.7147216796875 global_step=262080, episodic_return=-194.77528381347656 SPS: 3178 global_step=262192, episodic_return=-64.33091735839844 global_step=262448, episodic_return=-67.51618957519531 global_step=262736, episodic_return=-186.29013061523438 global_step=262848, episodic_return=-345.39910888671875 global_step=263008, episodic_return=-191.19650268554688 global_step=263024, episodic_return=-125.20552825927734 global_step=263424, episodic_return=-85.65487670898438 global_step=263520, episodic_return=-66.03733825683594 global_step=263584, episodic_return=-82.58016204833984 global_step=263808, episodic_return=-38.212528228759766 global_step=263840, episodic_return=-128.619873046875 global_step=263904, episodic_return=-111.1115951538086 global_step=264128, episodic_return=-69.31266784667969 global_step=264144, episodic_return=-134.38177490234375 global_step=264304, episodic_return=-127.72470092773438 global_step=264352, episodic_return=-104.7928695678711 global_step=264400, episodic_return=-196.06529235839844 global_step=264640, episodic_return=-51.38829803466797 global_step=264864, episodic_return=-29.263938903808594 global_step=264992, episodic_return=-97.47077178955078 global_step=265056, episodic_return=-96.7027587890625 global_step=265120, episodic_return=-253.48191833496094 global_step=265232, episodic_return=-203.06468200683594 global_step=265456, episodic_return=-138.0240936279297 global_step=265472, episodic_return=-78.51175689697266 global_step=265488, episodic_return=-108.14228820800781 global_step=265520, episodic_return=-76.38788604736328 global_step=265568, episodic_return=-87.29161834716797 global_step=265856, episodic_return=-192.13766479492188 global_step=265968, episodic_return=-57.03992462158203 global_step=266016, episodic_return=-98.47166442871094 global_step=266176, episodic_return=-144.05958557128906 global_step=266208, episodic_return=-143.06832885742188 global_step=266544, episodic_return=-140.5283203125 global_step=266592, episodic_return=-65.74958038330078 global_step=266688, episodic_return=-9.387382507324219 global_step=266720, episodic_return=-108.32748413085938 global_step=266736, episodic_return=-71.91694641113281 global_step=266928, episodic_return=-119.92581176757812 global_step=267040, episodic_return=-93.14012908935547 global_step=267072, episodic_return=-71.24609375 global_step=267120, episodic_return=-76.26875305175781 global_step=267200, episodic_return=-227.8729248046875 global_step=267760, episodic_return=-93.15033721923828 global_step=267920, episodic_return=-42.176170349121094 global_step=267936, episodic_return=-71.1878662109375 global_step=267968, episodic_return=-77.97743225097656 global_step=268016, episodic_return=-91.32505798339844 global_step=268128, episodic_return=-63.89925765991211 global_step=268144, episodic_return=-104.58043670654297 global_step=268240, episodic_return=-99.2473373413086 global_step=268384, episodic_return=-233.73521423339844 global_step=268448, episodic_return=-141.88565063476562 global_step=268592, episodic_return=-81.0636215209961 global_step=268752, episodic_return=-101.2536392211914 global_step=268768, episodic_return=-243.54727172851562 global_step=269280, episodic_return=-220.81753540039062 global_step=269328, episodic_return=-230.2622528076172 global_step=269360, episodic_return=-59.397212982177734 global_step=269424, episodic_return=-55.06547927856445 global_step=269456, episodic_return=-110.84739685058594 global_step=269520, episodic_return=-115.2353744506836 global_step=269824, episodic_return=-118.99803924560547 global_step=270016, episodic_return=-100.94243621826172 global_step=270064, episodic_return=-106.94098663330078 global_step=270160, episodic_return=-64.94110107421875 global_step=270192, episodic_return=-59.51148986816406 SPS: 3182 global_step=270432, episodic_return=-45.07628631591797 global_step=270576, episodic_return=-72.75938415527344 global_step=270608, episodic_return=-93.87281799316406 global_step=270672, episodic_return=-29.27605438232422 global_step=270832, episodic_return=-57.26264190673828 global_step=270912, episodic_return=-197.1715087890625 global_step=270928, episodic_return=-128.99855041503906 global_step=271120, episodic_return=-76.75958251953125 global_step=271424, episodic_return=-218.11679077148438 global_step=271472, episodic_return=-101.328125 global_step=271552, episodic_return=-296.7752380371094 global_step=271760, episodic_return=-92.95712280273438 global_step=271824, episodic_return=-29.47552490234375 global_step=271856, episodic_return=-74.82524871826172 global_step=271888, episodic_return=-138.71084594726562 global_step=271904, episodic_return=-76.32878875732422 global_step=272032, episodic_return=-81.65809631347656 global_step=272144, episodic_return=-92.111083984375 global_step=272256, episodic_return=-91.57227325439453 global_step=272320, episodic_return=-130.70843505859375 global_step=272496, episodic_return=-16.416854858398438 global_step=272768, episodic_return=-32.171669006347656 global_step=272880, episodic_return=-91.49877166748047 global_step=273088, episodic_return=-92.62820434570312 global_step=273136, episodic_return=-68.99114990234375 global_step=273264, episodic_return=-106.35491943359375 global_step=273376, episodic_return=-179.562744140625 global_step=273408, episodic_return=-55.69208908081055 global_step=273456, episodic_return=-142.4528350830078 global_step=273536, episodic_return=-55.82298278808594 global_step=273584, episodic_return=-173.71084594726562 global_step=274000, episodic_return=-175.17794799804688 global_step=274016, episodic_return=-126.01698303222656 global_step=274224, episodic_return=-267.578125 global_step=274416, episodic_return=-73.80705261230469 global_step=274624, episodic_return=-68.56599426269531 global_step=274784, episodic_return=-60.96100997924805 global_step=274800, episodic_return=-83.90582275390625 global_step=274848, episodic_return=-62.15869903564453 global_step=274864, episodic_return=-65.17766571044922 global_step=274976, episodic_return=-75.29568481445312 global_step=274992, episodic_return=-7.21392822265625 global_step=275008, episodic_return=-51.14134979248047 global_step=275216, episodic_return=-35.329994201660156 global_step=275552, episodic_return=-57.948333740234375 global_step=275664, episodic_return=-164.2803955078125 global_step=275712, episodic_return=-59.17425537109375 global_step=275808, episodic_return=-179.6272430419922 global_step=275984, episodic_return=-57.754425048828125 global_step=276176, episodic_return=-49.46769332885742 global_step=276208, episodic_return=-98.57881164550781 global_step=276256, episodic_return=-21.850387573242188 global_step=276336, episodic_return=-128.0643768310547 global_step=276464, episodic_return=-155.94029235839844 global_step=276608, episodic_return=-300.24737548828125 global_step=276800, episodic_return=-87.34364318847656 global_step=276880, episodic_return=9.862312316894531 global_step=276992, episodic_return=-75.89701843261719 global_step=277056, episodic_return=-88.10896301269531 global_step=277520, episodic_return=-74.77790832519531 global_step=277584, episodic_return=-63.037288665771484 global_step=277712, episodic_return=-93.75347137451172 global_step=277824, episodic_return=-91.80729675292969 global_step=277904, episodic_return=-92.98503112792969 global_step=278032, episodic_return=-95.4210205078125 global_step=278160, episodic_return=-74.54959869384766 global_step=278272, episodic_return=-185.71189880371094 global_step=278528, episodic_return=-29.03954315185547 SPS: 3160 global_step=278768, episodic_return=9.857688903808594 global_step=278832, episodic_return=-103.05909729003906 global_step=279072, episodic_return=-165.7335205078125 global_step=279104, episodic_return=-386.6515808105469 global_step=279136, episodic_return=-92.2491455078125 global_step=279184, episodic_return=-246.683349609375 global_step=279232, episodic_return=-204.03598022460938 global_step=279344, episodic_return=-155.71456909179688 global_step=279776, episodic_return=-246.4812774658203 global_step=279808, episodic_return=-143.9312744140625 global_step=279872, episodic_return=-79.35636901855469 global_step=280192, episodic_return=-68.00761413574219 global_step=280400, episodic_return=-46.66291427612305 global_step=280448, episodic_return=-147.00433349609375 global_step=280592, episodic_return=-179.39450073242188 global_step=280608, episodic_return=-206.40475463867188 global_step=280672, episodic_return=-73.2904052734375 global_step=280736, episodic_return=-174.15158081054688 global_step=281008, episodic_return=-301.1637878417969 global_step=281040, episodic_return=-71.7676010131836 global_step=281152, episodic_return=-298.63714599609375 global_step=281248, episodic_return=-204.74188232421875 global_step=281488, episodic_return=-51.42150115966797 global_step=281584, episodic_return=-85.12890625 global_step=281872, episodic_return=-74.1379165649414 global_step=282048, episodic_return=-31.137596130371094 global_step=282096, episodic_return=-91.49649810791016 global_step=282176, episodic_return=-59.27998733520508 global_step=282208, episodic_return=-47.50942611694336 global_step=282256, episodic_return=-78.33927917480469 global_step=282352, episodic_return=-139.19439697265625 global_step=282384, episodic_return=-39.85166931152344 global_step=282688, episodic_return=-140.05364990234375 global_step=282816, episodic_return=-58.72439956665039 global_step=283008, episodic_return=-96.6895751953125 global_step=283232, episodic_return=-134.60671997070312 global_step=283264, episodic_return=-70.90779113769531 global_step=283408, episodic_return=-99.4532470703125 global_step=283520, episodic_return=-287.4875793457031 global_step=283536, episodic_return=-122.69497680664062 global_step=283712, episodic_return=-117.95646667480469 global_step=283824, episodic_return=-97.26478576660156 global_step=284016, episodic_return=-122.19975280761719 global_step=284080, episodic_return=-51.092472076416016 global_step=284112, episodic_return=-261.5763854980469 global_step=284672, episodic_return=-57.7357063293457 global_step=284800, episodic_return=-63.654624938964844 global_step=284880, episodic_return=-112.30565643310547 global_step=284912, episodic_return=-167.81680297851562 global_step=285008, episodic_return=-161.1901092529297 global_step=285040, episodic_return=-189.97415161132812 global_step=285216, episodic_return=-36.97547149658203 global_step=285440, episodic_return=-102.6293716430664 global_step=285632, episodic_return=-39.11253356933594 global_step=285664, episodic_return=-121.60829162597656 global_step=285744, episodic_return=-56.06687927246094 global_step=285936, episodic_return=-88.83918762207031 global_step=285984, episodic_return=-28.73004150390625 global_step=286336, episodic_return=-266.478515625 global_step=286352, episodic_return=-49.99880599975586 global_step=286512, episodic_return=-61.77016830444336 global_step=286544, episodic_return=-64.8092269897461 global_step=286560, episodic_return=-109.29399108886719 global_step=286608, episodic_return=-120.39369201660156 SPS: 3160 global_step=286976, episodic_return=-35.88605499267578 global_step=287072, episodic_return=-109.5743179321289 global_step=287136, episodic_return=-104.10275268554688 global_step=287424, episodic_return=-125.7944564819336 global_step=287520, episodic_return=-195.81956481933594 global_step=287568, episodic_return=-90.33122253417969 global_step=287600, episodic_return=-88.29080200195312 global_step=287760, episodic_return=-75.24223327636719 global_step=287872, episodic_return=-62.88062286376953 global_step=287984, episodic_return=-170.11915588378906 global_step=288144, episodic_return=-101.49263763427734 global_step=288256, episodic_return=-95.81236267089844 global_step=288336, episodic_return=-76.21842956542969 global_step=288448, episodic_return=-116.62857055664062 global_step=288560, episodic_return=-163.70706176757812 global_step=288784, episodic_return=-97.74842834472656 global_step=288848, episodic_return=-87.1891860961914 global_step=288896, episodic_return=-114.8851089477539 global_step=288928, episodic_return=-55.092201232910156 global_step=288944, episodic_return=-72.86331176757812 global_step=288960, episodic_return=-81.6255874633789 global_step=289408, episodic_return=-115.36097717285156 global_step=289536, episodic_return=-63.78474426269531 global_step=289760, episodic_return=-42.07352828979492 global_step=289856, episodic_return=-83.99946594238281 global_step=290032, episodic_return=-85.96441650390625 global_step=290064, episodic_return=-52.20008850097656 global_step=290096, episodic_return=-143.11373901367188 global_step=290224, episodic_return=-110.97904205322266 global_step=290240, episodic_return=-47.698307037353516 global_step=290304, episodic_return=-82.811279296875 global_step=290416, episodic_return=-154.1593475341797 global_step=291152, episodic_return=-40.570682525634766 global_step=291232, episodic_return=-220.01864624023438 global_step=291264, episodic_return=-79.59418487548828 global_step=291280, episodic_return=-135.2626953125 global_step=291376, episodic_return=-85.4935302734375 global_step=291392, episodic_return=-112.82369995117188 global_step=291536, episodic_return=-198.2964324951172 global_step=291552, episodic_return=-15.299827575683594 global_step=291584, episodic_return=-99.14451599121094 global_step=291600, episodic_return=-96.58068084716797 global_step=291760, episodic_return=-108.52908325195312 global_step=291904, episodic_return=-154.53411865234375 global_step=292176, episodic_return=-229.29481506347656 global_step=292752, episodic_return=-93.61748504638672 global_step=292832, episodic_return=-102.49370574951172 global_step=292896, episodic_return=-76.54485321044922 global_step=293008, episodic_return=-84.64476013183594 global_step=293120, episodic_return=-82.8800048828125 global_step=293168, episodic_return=-158.0286865234375 global_step=293216, episodic_return=17.198562622070312 global_step=293296, episodic_return=-92.99966430664062 global_step=293552, episodic_return=-91.7767562866211 global_step=293584, episodic_return=-116.58937072753906 global_step=293728, episodic_return=-71.38404083251953 global_step=293824, episodic_return=-69.27784729003906 global_step=294192, episodic_return=-268.3609619140625 global_step=294240, episodic_return=-65.0631103515625 global_step=294432, episodic_return=-98.6550064086914 global_step=294528, episodic_return=-64.20285034179688 global_step=294832, episodic_return=-114.95059204101562 global_step=294864, episodic_return=-74.17716217041016 SPS: 3142 global_step=295024, episodic_return=-93.63220977783203 global_step=295136, episodic_return=-120.59574127197266 global_step=295216, episodic_return=-109.49253845214844 global_step=295360, episodic_return=-112.99559020996094 global_step=295520, episodic_return=-84.21861267089844 global_step=295536, episodic_return=-111.80795288085938 global_step=295616, episodic_return=-228.17868041992188 global_step=295824, episodic_return=-156.67706298828125 global_step=295968, episodic_return=-107.59233856201172 global_step=296000, episodic_return=-85.32115173339844 global_step=296096, episodic_return=-46.91654586791992 global_step=296288, episodic_return=-132.89401245117188 global_step=296688, episodic_return=-99.53713989257812 global_step=296720, episodic_return=-26.670082092285156 global_step=296768, episodic_return=-109.5252914428711 global_step=296864, episodic_return=-97.13446807861328 global_step=296960, episodic_return=-39.72396469116211 global_step=296992, episodic_return=-129.89056396484375 global_step=297136, episodic_return=-42.44947814941406 global_step=297312, episodic_return=-60.41519546508789 global_step=297392, episodic_return=6.02435302734375 global_step=297808, episodic_return=-224.34153747558594 global_step=297920, episodic_return=-87.73262023925781 global_step=297968, episodic_return=-125.46018981933594 global_step=298064, episodic_return=-76.02168273925781 global_step=298256, episodic_return=65.82597351074219 global_step=298272, episodic_return=-206.25222778320312 global_step=298320, episodic_return=-122.98889923095703 global_step=298464, episodic_return=-80.29304504394531 global_step=298576, episodic_return=-70.22628784179688 global_step=298912, episodic_return=-83.26708984375 global_step=298976, episodic_return=-104.75318908691406 global_step=298992, episodic_return=-123.84846496582031 global_step=299056, episodic_return=-52.0062141418457 global_step=299168, episodic_return=-57.649410247802734 global_step=299616, episodic_return=-158.73692321777344 global_step=299632, episodic_return=-51.89597702026367 global_step=299920, episodic_return=-96.12886810302734 global_step=300000, episodic_return=-26.340530395507812 global_step=300064, episodic_return=-120.0545425415039 global_step=300224, episodic_return=-31.17548370361328 global_step=300400, episodic_return=-137.2122802734375 global_step=300416, episodic_return=-116.8544921875 global_step=300496, episodic_return=-64.282470703125 global_step=300512, episodic_return=-26.864891052246094 global_step=300688, episodic_return=-70.13740539550781 global_step=300768, episodic_return=-82.25148010253906 global_step=300816, episodic_return=-169.28428649902344 global_step=301136, episodic_return=-4.588134765625 global_step=301216, episodic_return=-109.77835083007812 global_step=301296, episodic_return=-85.8402099609375 global_step=301328, episodic_return=-69.2862777709961 global_step=301424, episodic_return=-97.99300384521484 global_step=301696, episodic_return=-87.16304016113281 global_step=301856, episodic_return=-80.21559143066406 global_step=302080, episodic_return=-71.07999420166016 global_step=302096, episodic_return=-88.65737915039062 global_step=302192, episodic_return=-84.14813232421875 global_step=302304, episodic_return=-69.54924774169922 global_step=302448, episodic_return=-6.704978942871094 global_step=302480, episodic_return=-235.58209228515625 global_step=302560, episodic_return=-129.8043975830078 global_step=302576, episodic_return=-102.11164093017578 global_step=302624, episodic_return=-15.648193359375 global_step=302736, episodic_return=-13.375381469726562 global_step=302880, episodic_return=-102.025390625 global_step=302896, episodic_return=-57.98930358886719 global_step=303056, episodic_return=-95.09600067138672 global_step=303088, episodic_return=-73.66210174560547 SPS: 3099 global_step=303232, episodic_return=-67.71800231933594 global_step=303680, episodic_return=-86.6010971069336 global_step=303696, episodic_return=-167.28726196289062 global_step=303856, episodic_return=-62.83192443847656 global_step=303888, episodic_return=-63.197879791259766 global_step=303984, episodic_return=-97.82454681396484 global_step=304176, episodic_return=-103.82987976074219 global_step=304256, episodic_return=-105.25541687011719 global_step=304272, episodic_return=-112.63887786865234 global_step=304320, episodic_return=-63.17575454711914 global_step=304736, episodic_return=-70.42578887939453 global_step=304752, episodic_return=-116.93045043945312 global_step=304784, episodic_return=-88.93963623046875 global_step=304880, episodic_return=-149.81654357910156 global_step=304992, episodic_return=-18.62743377685547 global_step=305008, episodic_return=-103.79869079589844 global_step=305056, episodic_return=-71.1913833618164 global_step=305152, episodic_return=-94.1197509765625 global_step=305392, episodic_return=-122.8817138671875 global_step=305440, episodic_return=-133.5137481689453 global_step=305632, episodic_return=-75.79710388183594 global_step=305648, episodic_return=-65.06172180175781 global_step=305680, episodic_return=-74.9294204711914 global_step=305808, episodic_return=-65.93824768066406 global_step=305968, episodic_return=-109.57771301269531 global_step=306160, episodic_return=-84.80052185058594 global_step=306240, episodic_return=-46.96435546875 global_step=306368, episodic_return=-46.31708908081055 global_step=306384, episodic_return=-52.917259216308594 global_step=306448, episodic_return=-160.8090362548828 global_step=306608, episodic_return=-225.97482299804688 global_step=306624, episodic_return=-91.400146484375 global_step=306720, episodic_return=-53.37832260131836 global_step=306864, episodic_return=-200.85513305664062 global_step=306976, episodic_return=-89.8285903930664 global_step=307296, episodic_return=-87.82380676269531 global_step=307440, episodic_return=-73.89712524414062 global_step=307680, episodic_return=-138.95030212402344 global_step=307776, episodic_return=-215.563232421875 global_step=307968, episodic_return=-17.559120178222656 global_step=308064, episodic_return=-68.38761901855469 global_step=308096, episodic_return=-153.7266082763672 global_step=308272, episodic_return=-42.91237258911133 global_step=308400, episodic_return=-222.85897827148438 global_step=308512, episodic_return=-104.92549896240234 global_step=308576, episodic_return=-108.56013488769531 global_step=308592, episodic_return=-106.23347473144531 global_step=308688, episodic_return=-140.92816162109375 global_step=308816, episodic_return=-242.85455322265625 global_step=308976, episodic_return=-72.55712890625 global_step=309056, episodic_return=-118.369140625 global_step=309088, episodic_return=-199.50924682617188 global_step=309136, episodic_return=-278.01165771484375 global_step=309264, episodic_return=-106.77017974853516 global_step=309616, episodic_return=-137.29273986816406 global_step=309856, episodic_return=-111.45640563964844 global_step=309984, episodic_return=-171.60983276367188 global_step=310064, episodic_return=-52.640193939208984 global_step=310096, episodic_return=-321.3512268066406 global_step=310320, episodic_return=-44.30934143066406 global_step=310400, episodic_return=-74.74627685546875 global_step=310448, episodic_return=-181.5953369140625 global_step=310480, episodic_return=-18.78839874267578 global_step=310528, episodic_return=-48.84871292114258 global_step=310608, episodic_return=-175.12164306640625 global_step=310720, episodic_return=-156.94125366210938 global_step=310816, episodic_return=-252.48715209960938 global_step=310880, episodic_return=-279.04931640625 SPS: 3082 global_step=311360, episodic_return=-100.78423309326172 global_step=311456, episodic_return=-46.33492660522461 global_step=311520, episodic_return=-39.58790588378906 global_step=311888, episodic_return=-80.992431640625 global_step=311920, episodic_return=-90.80040740966797 global_step=312208, episodic_return=-101.35443115234375 global_step=312368, episodic_return=-233.86607360839844 global_step=312496, episodic_return=-165.8487548828125 global_step=312560, episodic_return=-315.2540283203125 global_step=312608, episodic_return=-98.12642669677734 global_step=312672, episodic_return=-122.43794250488281 global_step=312736, episodic_return=-69.05577087402344 global_step=312816, episodic_return=-146.2500457763672 global_step=312864, episodic_return=15.59649658203125 global_step=312928, episodic_return=-84.73855590820312 global_step=312960, episodic_return=-65.27336120605469 global_step=313328, episodic_return=-106.3836669921875 global_step=313408, episodic_return=-101.08090209960938 global_step=313712, episodic_return=-85.33834838867188 global_step=313968, episodic_return=-90.8852767944336 global_step=313984, episodic_return=-95.55371856689453 global_step=314000, episodic_return=-30.26610565185547 global_step=314016, episodic_return=-41.93035888671875 global_step=314224, episodic_return=-98.1524658203125 global_step=314256, episodic_return=-51.09770202636719 global_step=314288, episodic_return=-81.92253875732422 global_step=314592, episodic_return=-141.12530517578125 global_step=314752, episodic_return=-108.7605209350586 global_step=314944, episodic_return=-66.86128234863281 global_step=315008, episodic_return=-137.28878784179688 global_step=315168, episodic_return=-99.44489288330078 global_step=315280, episodic_return=-55.52670669555664 global_step=315520, episodic_return=-87.9889907836914 global_step=315824, episodic_return=-44.374996185302734 global_step=315936, episodic_return=-79.7237777709961 global_step=315984, episodic_return=-139.19683837890625 global_step=316032, episodic_return=-119.74034118652344 global_step=316128, episodic_return=-80.16214752197266 global_step=316160, episodic_return=-27.54473114013672 global_step=316208, episodic_return=-80.08753967285156 global_step=316288, episodic_return=-161.18313598632812 global_step=316320, episodic_return=-235.0762176513672 global_step=316384, episodic_return=-6.938232421875 global_step=316464, episodic_return=-73.81515502929688 global_step=316608, episodic_return=-66.76873779296875 global_step=316976, episodic_return=-63.29365158081055 global_step=317072, episodic_return=-59.75068664550781 global_step=317104, episodic_return=-98.68704986572266 global_step=317376, episodic_return=-70.50798034667969 global_step=317520, episodic_return=-63.897438049316406 global_step=317584, episodic_return=-73.39740753173828 global_step=317632, episodic_return=-89.73848724365234 global_step=317824, episodic_return=-100.19762420654297 global_step=317936, episodic_return=-178.55276489257812 global_step=317984, episodic_return=-96.53921508789062 global_step=318096, episodic_return=-77.13651275634766 global_step=318336, episodic_return=-129.8822479248047 global_step=318368, episodic_return=-236.2440185546875 global_step=318432, episodic_return=-48.44986343383789 global_step=318480, episodic_return=-193.87393188476562 global_step=318592, episodic_return=-111.40459442138672 global_step=318896, episodic_return=-57.842140197753906 global_step=318912, episodic_return=-40.96370315551758 global_step=319120, episodic_return=-42.072261810302734 global_step=319248, episodic_return=-226.56741333007812 global_step=319392, episodic_return=-75.3527603149414 SPS: 3085 global_step=319536, episodic_return=-65.40164947509766 global_step=319552, episodic_return=-134.188232421875 global_step=319664, episodic_return=-88.14346313476562 global_step=319792, episodic_return=-108.79188537597656 global_step=320112, episodic_return=-47.556182861328125 global_step=320256, episodic_return=-112.24369049072266 global_step=320384, episodic_return=-51.7061767578125 global_step=320480, episodic_return=-229.86241149902344 global_step=320512, episodic_return=-78.47198486328125 global_step=320576, episodic_return=-138.97659301757812 global_step=320816, episodic_return=-104.1602554321289 global_step=321056, episodic_return=-108.48983764648438 global_step=321088, episodic_return=-15.236625671386719 global_step=321200, episodic_return=-42.986637115478516 global_step=321216, episodic_return=-38.52191162109375 global_step=321392, episodic_return=-218.41770935058594 global_step=321568, episodic_return=-69.23522186279297 global_step=321664, episodic_return=-122.25965881347656 global_step=321856, episodic_return=-293.80303955078125 global_step=322048, episodic_return=-71.98838806152344 global_step=322272, episodic_return=-113.436767578125 global_step=322304, episodic_return=-94.04961395263672 global_step=322384, episodic_return=-48.01094055175781 global_step=322432, episodic_return=-111.10394287109375 global_step=322528, episodic_return=-161.41836547851562 global_step=322592, episodic_return=-80.21456146240234 global_step=322832, episodic_return=-71.7033920288086 global_step=322880, episodic_return=-43.48495864868164 global_step=322976, episodic_return=-131.56224060058594 global_step=323104, episodic_return=-222.70819091796875 global_step=323120, episodic_return=-80.1957015991211 global_step=323184, episodic_return=-115.5272445678711 global_step=323344, episodic_return=-201.94638061523438 global_step=323360, episodic_return=-58.028846740722656 global_step=323680, episodic_return=-64.00358581542969 global_step=323744, episodic_return=-53.48203659057617 global_step=323824, episodic_return=-57.58259582519531 global_step=323904, episodic_return=-75.51583862304688 global_step=324064, episodic_return=-226.4354705810547 global_step=324080, episodic_return=-82.18803405761719 global_step=324192, episodic_return=-288.7779541015625 global_step=324352, episodic_return=-178.44503784179688 global_step=324416, episodic_return=-46.27838897705078 global_step=324528, episodic_return=-104.92269134521484 global_step=324656, episodic_return=-107.87931060791016 global_step=324768, episodic_return=-72.59801483154297 global_step=324864, episodic_return=-105.7928466796875 global_step=324960, episodic_return=-82.3634033203125 global_step=325088, episodic_return=-84.15603637695312 global_step=325136, episodic_return=-70.13123321533203 global_step=325216, episodic_return=-124.7720947265625 global_step=325296, episodic_return=-119.6144027709961 global_step=325344, episodic_return=-63.606353759765625 global_step=325456, episodic_return=-221.19625854492188 global_step=325856, episodic_return=-30.334243774414062 global_step=325904, episodic_return=-99.65711975097656 global_step=325936, episodic_return=-217.07205200195312 global_step=326208, episodic_return=-31.376724243164062 global_step=326288, episodic_return=-132.71197509765625 global_step=326640, episodic_return=-166.7784423828125 global_step=326672, episodic_return=-167.6241455078125 global_step=326704, episodic_return=-104.12065124511719 global_step=326880, episodic_return=-120.02468872070312 global_step=326912, episodic_return=-47.95632553100586 global_step=327088, episodic_return=-49.73540496826172 global_step=327216, episodic_return=-89.05990600585938 global_step=327328, episodic_return=-46.25569152832031 global_step=327392, episodic_return=-96.09422302246094 global_step=327440, episodic_return=-63.13591003417969 global_step=327536, episodic_return=-12.089996337890625 global_step=327552, episodic_return=-32.39276123046875 global_step=327568, episodic_return=-38.905052185058594 SPS: 3089 global_step=328112, episodic_return=-132.27479553222656 global_step=328144, episodic_return=-57.872291564941406 global_step=328192, episodic_return=-67.36504364013672 global_step=328256, episodic_return=-81.82606506347656 global_step=328336, episodic_return=-54.048946380615234 global_step=328416, episodic_return=-105.66556549072266 global_step=328528, episodic_return=-148.65118408203125 global_step=328800, episodic_return=-97.72097778320312 global_step=329072, episodic_return=-63.73434066772461 global_step=329120, episodic_return=-34.74059295654297 global_step=329152, episodic_return=-82.30535125732422 global_step=329168, episodic_return=-197.0134735107422 global_step=329232, episodic_return=-177.7456817626953 global_step=329696, episodic_return=-61.798404693603516 global_step=329808, episodic_return=-75.63630676269531 global_step=329920, episodic_return=-105.27366638183594 global_step=329936, episodic_return=-82.67166900634766 global_step=329952, episodic_return=-104.2028579711914 global_step=330080, episodic_return=-96.8088607788086 global_step=330096, episodic_return=-119.10829162597656 global_step=330128, episodic_return=-120.00186920166016 global_step=330144, episodic_return=-114.07223510742188 global_step=330240, episodic_return=-67.51045227050781 global_step=330512, episodic_return=-110.39849090576172 global_step=330976, episodic_return=-111.27864074707031 global_step=331040, episodic_return=-111.8895034790039 global_step=331088, episodic_return=-58.784217834472656 global_step=331232, episodic_return=-91.7240219116211 global_step=331280, episodic_return=-249.07977294921875 global_step=331424, episodic_return=-130.60699462890625 global_step=331488, episodic_return=-50.840423583984375 global_step=331616, episodic_return=-211.73733520507812 global_step=331760, episodic_return=-72.25446319580078 global_step=331856, episodic_return=-43.868804931640625 global_step=332032, episodic_return=-265.4080505371094 global_step=332064, episodic_return=-64.46401977539062 global_step=332208, episodic_return=-59.762935638427734 global_step=332288, episodic_return=-134.3262481689453 global_step=332352, episodic_return=-189.46170043945312 global_step=332576, episodic_return=-75.61033630371094 global_step=332688, episodic_return=-209.22637939453125 global_step=332704, episodic_return=-49.907588958740234 global_step=332720, episodic_return=-60.35462188720703 global_step=332912, episodic_return=-107.9466323852539 global_step=332992, episodic_return=-4.052009582519531 global_step=333104, episodic_return=-46.6633415222168 global_step=333632, episodic_return=-86.21672058105469 global_step=333696, episodic_return=-235.48318481445312 global_step=333712, episodic_return=-96.3494873046875 global_step=333728, episodic_return=-198.92474365234375 global_step=333744, episodic_return=-289.7574157714844 global_step=333872, episodic_return=-74.74922180175781 global_step=333952, episodic_return=-77.86723327636719 global_step=334128, episodic_return=-109.98236846923828 global_step=334240, episodic_return=-156.7928009033203 global_step=334288, episodic_return=-142.45437622070312 global_step=334320, episodic_return=-83.54461669921875 global_step=334784, episodic_return=-235.92153930664062 global_step=334800, episodic_return=-10.476356506347656 global_step=334848, episodic_return=-134.56060791015625 global_step=335104, episodic_return=-80.9527587890625 global_step=335120, episodic_return=-83.59420776367188 global_step=335200, episodic_return=-42.06648635864258 global_step=335232, episodic_return=-45.34632873535156 global_step=335520, episodic_return=-76.00233459472656 global_step=335552, episodic_return=-104.99844360351562 global_step=335568, episodic_return=-72.87235260009766 global_step=335616, episodic_return=-148.76760864257812 global_step=335648, episodic_return=-70.77041625976562 global_step=335696, episodic_return=-74.61862182617188 global_step=335760, episodic_return=-78.31707000732422 global_step=335808, episodic_return=-99.22767639160156 SPS: 3092 global_step=336064, episodic_return=-100.11666107177734 global_step=336176, episodic_return=-63.730674743652344 global_step=336432, episodic_return=-48.028324127197266 global_step=336656, episodic_return=4.938499450683594 global_step=336672, episodic_return=-49.95670700073242 global_step=336768, episodic_return=-76.94949340820312 global_step=336864, episodic_return=-48.16987228393555 global_step=336976, episodic_return=-133.71688842773438 global_step=337168, episodic_return=-22.8486328125 global_step=337312, episodic_return=-271.24859619140625 global_step=337360, episodic_return=-116.65985870361328 global_step=337392, episodic_return=-48.85651397705078 global_step=337552, episodic_return=-45.85996627807617 global_step=337936, episodic_return=-192.53158569335938 global_step=338000, episodic_return=-66.53138732910156 global_step=338128, episodic_return=-66.40726470947266 global_step=338336, episodic_return=-78.650146484375 global_step=338432, episodic_return=-136.9320068359375 global_step=338720, episodic_return=-116.86055755615234 global_step=338768, episodic_return=-77.77623748779297 global_step=338816, episodic_return=-61.75965118408203 global_step=339072, episodic_return=-67.98727416992188 global_step=339232, episodic_return=-52.88277053833008 global_step=339280, episodic_return=-128.6319580078125 global_step=339328, episodic_return=-41.22310256958008 global_step=339584, episodic_return=-80.7472915649414 global_step=339744, episodic_return=-63.285030364990234 global_step=339936, episodic_return=-188.65345764160156 global_step=339968, episodic_return=-39.67486572265625 global_step=340192, episodic_return=-189.84469604492188 global_step=340320, episodic_return=-58.37228012084961 global_step=340384, episodic_return=-65.20713806152344 global_step=340416, episodic_return=-98.44424438476562 global_step=340512, episodic_return=-22.904129028320312 global_step=341312, episodic_return=-129.76708984375 global_step=341424, episodic_return=-79.13604736328125 global_step=341440, episodic_return=-104.90928649902344 global_step=341456, episodic_return=-104.06378936767578 global_step=341552, episodic_return=-83.83417510986328 global_step=341568, episodic_return=-233.00360107421875 global_step=341648, episodic_return=-100.57244873046875 global_step=341904, episodic_return=-72.89083862304688 global_step=341984, episodic_return=-173.39183044433594 global_step=342048, episodic_return=-268.7275390625 global_step=342096, episodic_return=30.021728515625 global_step=342144, episodic_return=-101.8843765258789 global_step=342672, episodic_return=-87.28189849853516 global_step=342752, episodic_return=-17.39368438720703 global_step=342848, episodic_return=-10.692626953125 global_step=342896, episodic_return=-128.2220458984375 global_step=343008, episodic_return=-41.10903549194336 global_step=343168, episodic_return=-127.84781646728516 global_step=343344, episodic_return=-44.160823822021484 global_step=343712, episodic_return=-47.173763275146484 global_step=343792, episodic_return=-102.42825317382812 global_step=343904, episodic_return=-100.30989837646484 SPS: 3066 global_step=344144, episodic_return=-140.83424377441406 global_step=344176, episodic_return=-267.0875549316406 global_step=344272, episodic_return=-59.911983489990234 global_step=344480, episodic_return=-75.42947387695312 global_step=344512, episodic_return=-94.95223236083984 global_step=344624, episodic_return=-61.469940185546875 global_step=344656, episodic_return=-117.01303100585938 global_step=344800, episodic_return=-137.431884765625 global_step=345200, episodic_return=-91.26077270507812 global_step=345296, episodic_return=-57.78388595581055 global_step=345504, episodic_return=-124.3931884765625 global_step=345552, episodic_return=-139.7643280029297 global_step=345600, episodic_return=-94.02145385742188 global_step=345680, episodic_return=-47.0229606628418 global_step=345744, episodic_return=-108.18383026123047 global_step=345776, episodic_return=18.431983947753906 global_step=345824, episodic_return=-75.7424087524414 global_step=345968, episodic_return=-29.934982299804688 global_step=346176, episodic_return=-105.20520782470703 global_step=346496, episodic_return=-59.037593841552734 global_step=346512, episodic_return=-34.32734680175781 global_step=346672, episodic_return=-102.49068450927734 global_step=346960, episodic_return=-59.95241165161133 global_step=346992, episodic_return=-97.5107650756836 global_step=347056, episodic_return=-83.19989013671875 global_step=347248, episodic_return=-120.69667053222656 global_step=347344, episodic_return=-98.7759780883789 global_step=347408, episodic_return=-18.063980102539062 global_step=347520, episodic_return=-90.48955535888672 global_step=347664, episodic_return=-32.68206787109375 global_step=347696, episodic_return=-245.584716796875 global_step=347984, episodic_return=-105.40990447998047 global_step=348272, episodic_return=-93.39252471923828 global_step=348384, episodic_return=-42.44832992553711 global_step=348432, episodic_return=-99.5626449584961 global_step=348512, episodic_return=-105.93029022216797 global_step=348704, episodic_return=-111.80769348144531 global_step=348720, episodic_return=-81.92414855957031 global_step=348752, episodic_return=-36.43340301513672 global_step=348896, episodic_return=-90.4023208618164 global_step=348928, episodic_return=-105.26313018798828 global_step=349072, episodic_return=-174.18051147460938 global_step=349104, episodic_return=-75.86929321289062 global_step=349392, episodic_return=-91.986572265625 global_step=349632, episodic_return=-55.39474868774414 global_step=349664, episodic_return=-89.73096466064453 global_step=349824, episodic_return=-92.16996002197266 global_step=349904, episodic_return=-96.42453002929688 global_step=349920, episodic_return=-421.3548889160156 global_step=350256, episodic_return=-34.325645446777344 global_step=350272, episodic_return=-57.578094482421875 global_step=350320, episodic_return=-103.08477020263672 global_step=350336, episodic_return=-52.601104736328125 global_step=350464, episodic_return=-113.01113891601562 global_step=350608, episodic_return=-52.15652847290039 global_step=350640, episodic_return=-46.827781677246094 global_step=350848, episodic_return=64.6210708618164 global_step=350864, episodic_return=-34.46281433105469 global_step=350896, episodic_return=-253.06179809570312 global_step=351184, episodic_return=-111.7925796508789 global_step=351296, episodic_return=-31.96642303466797 global_step=351712, episodic_return=-21.185165405273438 global_step=351744, episodic_return=-93.45836639404297 global_step=351760, episodic_return=-76.26763916015625 global_step=351968, episodic_return=-85.12226104736328 global_step=352080, episodic_return=-91.576171875 global_step=352112, episodic_return=-18.37073516845703 global_step=352144, episodic_return=-66.98500061035156 global_step=352176, episodic_return=-85.87704467773438 SPS: 3054 global_step=352416, episodic_return=-153.00254821777344 global_step=352656, episodic_return=-92.90518188476562 global_step=352720, episodic_return=-67.20516967773438 global_step=352848, episodic_return=-95.35823822021484 global_step=352880, episodic_return=-74.12736511230469 global_step=353056, episodic_return=20.532325744628906 global_step=353152, episodic_return=-96.39583587646484 global_step=353184, episodic_return=-232.00595092773438 global_step=353440, episodic_return=-103.76069641113281 global_step=353456, episodic_return=-49.27455520629883 global_step=353584, episodic_return=-102.2771224975586 global_step=353632, episodic_return=-76.09617614746094 global_step=353872, episodic_return=-116.21094512939453 global_step=353984, episodic_return=-118.09441375732422 global_step=354000, episodic_return=-82.52544403076172 global_step=354112, episodic_return=-210.31033325195312 global_step=354320, episodic_return=-72.43949890136719 global_step=354448, episodic_return=-34.895599365234375 global_step=354480, episodic_return=-60.628841400146484 global_step=354656, episodic_return=-82.71974182128906 global_step=354896, episodic_return=-154.20677185058594 global_step=354960, episodic_return=-70.1849365234375 global_step=355040, episodic_return=-80.3131332397461 global_step=355072, episodic_return=-76.71377563476562 global_step=355152, episodic_return=-230.894287109375 global_step=355664, episodic_return=-97.64469909667969 global_step=355728, episodic_return=18.683059692382812 global_step=355872, episodic_return=-262.56280517578125 global_step=355904, episodic_return=-140.28236389160156 global_step=356032, episodic_return=-97.01607513427734 global_step=356256, episodic_return=-37.68134307861328 global_step=356272, episodic_return=-100.8859634399414 global_step=356448, episodic_return=-33.958290100097656 global_step=356480, episodic_return=-63.31106948852539 global_step=356528, episodic_return=-267.8979797363281 global_step=356624, episodic_return=-109.95545196533203 global_step=356896, episodic_return=-152.05010986328125 global_step=356976, episodic_return=-114.83064270019531 global_step=357008, episodic_return=-61.70991134643555 global_step=357072, episodic_return=-147.72207641601562 global_step=357184, episodic_return=-70.88533020019531 global_step=357264, episodic_return=-78.14959716796875 global_step=357568, episodic_return=-121.19754791259766 global_step=357920, episodic_return=-82.21426391601562 global_step=357968, episodic_return=-83.2273178100586 global_step=358128, episodic_return=-65.74488067626953 global_step=358288, episodic_return=-245.47694396972656 global_step=358320, episodic_return=-98.80064392089844 global_step=358384, episodic_return=-32.22978973388672 global_step=358592, episodic_return=-53.35551834106445 global_step=358688, episodic_return=-98.52569580078125 global_step=358912, episodic_return=-40.3615608215332 global_step=359184, episodic_return=43.01795959472656 global_step=359200, episodic_return=-80.014892578125 global_step=359312, episodic_return=-104.11905670166016 global_step=359328, episodic_return=-77.85618591308594 global_step=359536, episodic_return=-37.14816665649414 global_step=359936, episodic_return=-58.71272659301758 global_step=360032, episodic_return=-67.49452209472656 global_step=360128, episodic_return=-175.42208862304688 global_step=360272, episodic_return=-38.4438591003418 global_step=360368, episodic_return=-46.25429153442383 global_step=360384, episodic_return=-89.6260757446289 global_step=360416, episodic_return=-10.737075805664062 SPS: 3057 global_step=360496, episodic_return=-67.52676391601562 global_step=360512, episodic_return=-98.1722412109375 global_step=360592, episodic_return=-117.48008728027344 global_step=360736, episodic_return=-106.14714813232422 global_step=361088, episodic_return=-72.78412628173828 global_step=361184, episodic_return=-164.18692016601562 global_step=361328, episodic_return=-164.95401000976562 global_step=361360, episodic_return=-68.8094482421875 global_step=361568, episodic_return=-34.112701416015625 global_step=361872, episodic_return=-175.654052734375 global_step=361888, episodic_return=-54.6124153137207 global_step=362048, episodic_return=-227.07916259765625 global_step=362064, episodic_return=-31.501693725585938 global_step=362144, episodic_return=-242.8459014892578 global_step=362256, episodic_return=-88.7525634765625 global_step=362272, episodic_return=-76.51360321044922 global_step=362400, episodic_return=-73.61428833007812 global_step=362624, episodic_return=-16.927749633789062 global_step=362640, episodic_return=-62.66013717651367 global_step=362656, episodic_return=-83.3741455078125 global_step=362800, episodic_return=-88.6890640258789 global_step=362816, episodic_return=-60.478355407714844 global_step=362960, episodic_return=-62.911354064941406 global_step=363152, episodic_return=-80.24207305908203 global_step=363456, episodic_return=-73.4375228881836 global_step=363472, episodic_return=-25.030296325683594 global_step=363744, episodic_return=-61.25007629394531 global_step=363792, episodic_return=-188.27276611328125 global_step=363904, episodic_return=-89.72195434570312 global_step=364016, episodic_return=-23.649765014648438 global_step=364064, episodic_return=-89.29032135009766 global_step=364208, episodic_return=-57.3670654296875 global_step=364224, episodic_return=-68.11754608154297 global_step=364752, episodic_return=-48.32743453979492 global_step=364768, episodic_return=-194.09078979492188 global_step=364896, episodic_return=-151.4697265625 global_step=364944, episodic_return=-113.9715576171875 global_step=364976, episodic_return=-20.609481811523438 global_step=364992, episodic_return=-26.381736755371094 global_step=365104, episodic_return=-100.99095916748047 global_step=365136, episodic_return=-166.08938598632812 global_step=365600, episodic_return=-53.695194244384766 global_step=366048, episodic_return=-57.33773422241211 global_step=366128, episodic_return=-206.6042022705078 global_step=366224, episodic_return=-227.03262329101562 global_step=366448, episodic_return=-31.46825408935547 global_step=366512, episodic_return=-146.21090698242188 global_step=366560, episodic_return=-136.02130126953125 global_step=366880, episodic_return=-95.12799835205078 global_step=367152, episodic_return=-122.34070587158203 global_step=367168, episodic_return=-31.02862548828125 global_step=367344, episodic_return=-163.8187255859375 global_step=367520, episodic_return=-94.19961547851562 global_step=367616, episodic_return=-63.9544563293457 global_step=367776, episodic_return=-33.39765167236328 global_step=367936, episodic_return=-143.8422088623047 global_step=368000, episodic_return=-90.37985229492188 global_step=368048, episodic_return=-76.24967956542969 global_step=368096, episodic_return=-66.20013427734375 global_step=368176, episodic_return=-87.31495666503906 global_step=368432, episodic_return=-83.05988311767578 global_step=368448, episodic_return=-140.7637939453125 global_step=368592, episodic_return=-83.40897369384766 SPS: 3059 global_step=368896, episodic_return=-24.89763641357422 global_step=368992, episodic_return=-113.38558197021484 global_step=369040, episodic_return=-165.05697631835938 global_step=369056, episodic_return=-76.3653793334961 global_step=369216, episodic_return=-66.24750518798828 global_step=369616, episodic_return=-168.10580444335938 global_step=369648, episodic_return=-107.52465057373047 global_step=370144, episodic_return=-65.91098022460938 global_step=370176, episodic_return=-90.4299087524414 global_step=370336, episodic_return=-89.88871765136719 global_step=370400, episodic_return=-43.929107666015625 global_step=370496, episodic_return=-50.55213928222656 global_step=370640, episodic_return=-57.78524398803711 global_step=370736, episodic_return=-77.06533813476562 global_step=371120, episodic_return=-110.1273193359375 global_step=371136, episodic_return=-17.733261108398438 global_step=371200, episodic_return=-71.71353149414062 global_step=371264, episodic_return=-168.53970336914062 global_step=371296, episodic_return=-61.031044006347656 global_step=371424, episodic_return=-22.648826599121094 global_step=371584, episodic_return=-134.42062377929688 global_step=371616, episodic_return=-56.725582122802734 global_step=371968, episodic_return=-99.0745620727539 global_step=372080, episodic_return=-59.8240966796875 global_step=372272, episodic_return=-100.80612182617188 global_step=372416, episodic_return=-72.50267028808594 global_step=372480, episodic_return=-59.03012466430664 global_step=372512, episodic_return=-58.327884674072266 global_step=372528, episodic_return=-47.338523864746094 global_step=372752, episodic_return=-106.3067398071289 global_step=372944, episodic_return=-61.10243225097656 global_step=373024, episodic_return=-108.85774230957031 global_step=373040, episodic_return=-150.05923461914062 global_step=373152, episodic_return=-82.1781234741211 global_step=373312, episodic_return=-211.04876708984375 global_step=373328, episodic_return=-42.79049301147461 global_step=373472, episodic_return=-53.4844970703125 global_step=373856, episodic_return=-206.28135681152344 global_step=374048, episodic_return=-66.47213745117188 global_step=374112, episodic_return=-111.01271057128906 global_step=374224, episodic_return=-65.60188293457031 global_step=374352, episodic_return=-81.12816619873047 global_step=374512, episodic_return=-70.78012084960938 global_step=374624, episodic_return=-63.289669036865234 global_step=374784, episodic_return=-261.8737487792969 global_step=374864, episodic_return=-95.56723022460938 global_step=375152, episodic_return=-20.097923278808594 global_step=375504, episodic_return=-76.47850799560547 global_step=375520, episodic_return=-80.06062316894531 global_step=375536, episodic_return=-74.55726623535156 global_step=375680, episodic_return=-0.13413238525390625 global_step=375712, episodic_return=-96.93780517578125 global_step=375824, episodic_return=-98.91109466552734 global_step=376272, episodic_return=-90.20819854736328 global_step=376320, episodic_return=-272.8668212890625 global_step=376576, episodic_return=-207.44805908203125 global_step=376720, episodic_return=-45.85991287231445 global_step=376752, episodic_return=-15.75457763671875 SPS: 3036 global_step=376864, episodic_return=-158.232421875 global_step=376960, episodic_return=-147.32589721679688 global_step=377152, episodic_return=-72.0701904296875 global_step=377376, episodic_return=-126.92710876464844 global_step=377488, episodic_return=-117.25416564941406 global_step=377696, episodic_return=-79.7752456665039 global_step=378032, episodic_return=-181.36351013183594 global_step=378096, episodic_return=-81.71658325195312 global_step=378496, episodic_return=-1.3799209594726562 global_step=378512, episodic_return=-55.21470642089844 global_step=378560, episodic_return=-75.48159790039062 global_step=378608, episodic_return=-112.15251159667969 global_step=378720, episodic_return=-76.50523376464844 global_step=378928, episodic_return=-39.40361785888672 global_step=379056, episodic_return=-53.94749069213867 global_step=379216, episodic_return=37.821014404296875 global_step=379456, episodic_return=-85.34871673583984 global_step=379504, episodic_return=-112.42120361328125 global_step=379600, episodic_return=-37.316078186035156 global_step=379936, episodic_return=-214.7134552001953 global_step=380016, episodic_return=-75.98736572265625 global_step=380176, episodic_return=-69.52784729003906 global_step=380256, episodic_return=-24.041282653808594 global_step=380320, episodic_return=-57.6058464050293 global_step=380336, episodic_return=-119.55003356933594 global_step=380528, episodic_return=-99.36415100097656 global_step=380784, episodic_return=-219.73635864257812 global_step=380944, episodic_return=91.88790893554688 global_step=381152, episodic_return=-275.9250793457031 global_step=381248, episodic_return=-39.29957580566406 global_step=381408, episodic_return=-101.22071838378906 global_step=381520, episodic_return=-108.99159240722656 global_step=381600, episodic_return=-88.15866088867188 global_step=381760, episodic_return=-294.683349609375 global_step=382016, episodic_return=-31.150863647460938 global_step=382048, episodic_return=-92.6556625366211 global_step=382160, episodic_return=-64.41654968261719 global_step=382400, episodic_return=-30.38391876220703 global_step=382416, episodic_return=-184.30227661132812 global_step=382448, episodic_return=-93.71665954589844 global_step=382512, episodic_return=-230.05088806152344 global_step=382560, episodic_return=-183.5989532470703 global_step=382640, episodic_return=-0.8179550170898438 global_step=382688, episodic_return=-101.68749237060547 global_step=382768, episodic_return=-18.122230529785156 global_step=382944, episodic_return=-62.49617385864258 global_step=383440, episodic_return=-56.50473403930664 global_step=383600, episodic_return=-68.26695251464844 global_step=383744, episodic_return=-43.22271728515625 global_step=383808, episodic_return=-84.440673828125 global_step=383888, episodic_return=-80.53556823730469 global_step=384000, episodic_return=-16.705665588378906 global_step=384112, episodic_return=-94.25889587402344 global_step=384256, episodic_return=-103.50532531738281 global_step=384432, episodic_return=-29.911865234375 global_step=384480, episodic_return=-93.70884704589844 global_step=384832, episodic_return=-87.4502944946289 global_step=384848, episodic_return=-147.1748046875 global_step=384880, episodic_return=-150.58084106445312 SPS: 3027 global_step=385088, episodic_return=17.525558471679688 global_step=385344, episodic_return=-28.973968505859375 global_step=385456, episodic_return=-66.80088806152344 global_step=385472, episodic_return=-66.62979888916016 global_step=385568, episodic_return=-86.18400573730469 global_step=385728, episodic_return=-100.00791931152344 global_step=385760, episodic_return=-54.3416633605957 global_step=386112, episodic_return=-132.61012268066406 global_step=386512, episodic_return=-74.8613510131836 global_step=386528, episodic_return=-48.305992126464844 global_step=386560, episodic_return=-34.359886169433594 global_step=386720, episodic_return=-11.068107604980469 global_step=386768, episodic_return=-78.61284637451172 global_step=386800, episodic_return=-106.10099792480469 global_step=386816, episodic_return=-104.92603302001953 global_step=387024, episodic_return=-34.07740783691406 global_step=387072, episodic_return=-130.21826171875 global_step=387424, episodic_return=-49.823177337646484 global_step=387504, episodic_return=-56.197017669677734 global_step=387520, episodic_return=-192.05624389648438 global_step=387536, episodic_return=-142.633544921875 global_step=387616, episodic_return=-127.7319564819336 global_step=387856, episodic_return=-39.88200759887695 global_step=387952, episodic_return=-32.36914825439453 global_step=388032, episodic_return=-67.3504409790039 global_step=388128, episodic_return=-45.23249435424805 global_step=388496, episodic_return=-219.27334594726562 global_step=388848, episodic_return=-67.19131469726562 global_step=388944, episodic_return=-117.2109603881836 global_step=389024, episodic_return=-84.06907653808594 global_step=389120, episodic_return=-44.87704086303711 global_step=389184, episodic_return=-175.36294555664062 global_step=389248, episodic_return=-49.354618072509766 global_step=389280, episodic_return=-55.98077392578125 global_step=389296, episodic_return=-83.675048828125 global_step=389392, episodic_return=-85.78795623779297 global_step=389440, episodic_return=-88.10991668701172 global_step=389520, episodic_return=-120.09867858886719 global_step=389648, episodic_return=-102.06478118896484 global_step=389744, episodic_return=-45.08073806762695 global_step=390288, episodic_return=-148.5743865966797 global_step=390480, episodic_return=-83.57089233398438 global_step=390624, episodic_return=23.913101196289062 global_step=390720, episodic_return=-70.90604400634766 global_step=390736, episodic_return=-104.82073211669922 global_step=391040, episodic_return=-71.8714370727539 global_step=391072, episodic_return=-27.54571533203125 global_step=391216, episodic_return=-79.32514953613281 global_step=391232, episodic_return=-160.46546936035156 global_step=391248, episodic_return=9.684288024902344 global_step=391376, episodic_return=-237.40444946289062 global_step=391632, episodic_return=-66.949951171875 global_step=391680, episodic_return=-153.19020080566406 global_step=391840, episodic_return=-14.196670532226562 global_step=391936, episodic_return=-33.87068176269531 global_step=392048, episodic_return=-139.15560913085938 global_step=392240, episodic_return=-98.47088623046875 global_step=392352, episodic_return=-83.8353042602539 global_step=392912, episodic_return=-92.31954956054688 global_step=392960, episodic_return=-45.46846389770508 global_step=393040, episodic_return=-96.91806030273438 SPS: 3030 global_step=393232, episodic_return=-104.66365814208984 global_step=393248, episodic_return=-208.2665252685547 global_step=393488, episodic_return=-71.68496704101562 global_step=393504, episodic_return=-391.20361328125 global_step=393744, episodic_return=-141.67257690429688 global_step=393936, episodic_return=-146.3240966796875 global_step=393984, episodic_return=-19.184608459472656 global_step=394080, episodic_return=-160.66090393066406 global_step=394096, episodic_return=-85.9286880493164 global_step=394240, episodic_return=-58.48023986816406 global_step=394384, episodic_return=-169.32928466796875 global_step=394576, episodic_return=-123.86017608642578 global_step=394784, episodic_return=-91.4503402709961 global_step=394816, episodic_return=-65.42433166503906 global_step=395280, episodic_return=-182.38919067382812 global_step=395312, episodic_return=-140.9244384765625 global_step=395408, episodic_return=-74.15458679199219 global_step=395504, episodic_return=-281.23919677734375 global_step=395584, episodic_return=-26.02099609375 global_step=395808, episodic_return=-65.24305725097656 global_step=395904, episodic_return=-53.56592559814453 global_step=395936, episodic_return=-28.304779052734375 global_step=396016, episodic_return=-395.80126953125 global_step=396048, episodic_return=-72.59375 global_step=396112, episodic_return=-213.24911499023438 global_step=396576, episodic_return=-28.7532958984375 global_step=396832, episodic_return=-21.566009521484375 global_step=396880, episodic_return=-87.04157257080078 global_step=397120, episodic_return=-63.19926452636719 global_step=397360, episodic_return=-201.5516815185547 global_step=397376, episodic_return=-32.80967712402344 global_step=397440, episodic_return=-23.795005798339844 global_step=397504, episodic_return=-154.32655334472656 global_step=397616, episodic_return=-23.266433715820312 global_step=397872, episodic_return=-68.69615936279297 global_step=397984, episodic_return=-145.03872680664062 global_step=398096, episodic_return=-96.83848571777344 global_step=398208, episodic_return=-24.252410888671875 global_step=398384, episodic_return=-25.05615234375 global_step=398432, episodic_return=-85.40129089355469 global_step=398656, episodic_return=-140.01947021484375 global_step=398672, episodic_return=-195.26388549804688 global_step=398960, episodic_return=-99.39328002929688 global_step=399024, episodic_return=-94.71391296386719 global_step=399040, episodic_return=-127.48294830322266 global_step=399584, episodic_return=-61.065216064453125 global_step=399616, episodic_return=-43.97397232055664 global_step=399632, episodic_return=-40.511932373046875 global_step=399680, episodic_return=-84.16426086425781 global_step=399776, episodic_return=-72.75103759765625 global_step=399792, episodic_return=-302.6307067871094 global_step=399984, episodic_return=-69.8035888671875 global_step=400240, episodic_return=-35.10267639160156 global_step=400336, episodic_return=-60.72846221923828 global_step=400496, episodic_return=-156.8406219482422 global_step=400640, episodic_return=-51.371910095214844 global_step=400656, episodic_return=-30.23321533203125 global_step=400752, episodic_return=-70.35086059570312 global_step=400960, episodic_return=-25.463470458984375 global_step=400992, episodic_return=-16.892196655273438 global_step=401008, episodic_return=-63.841983795166016 global_step=401184, episodic_return=-48.26596450805664 global_step=401360, episodic_return=-84.0372314453125 SPS: 3032 global_step=401536, episodic_return=-67.51365661621094 global_step=401600, episodic_return=-35.861358642578125 global_step=401856, episodic_return=-228.6717529296875 global_step=401920, episodic_return=-44.03184509277344 global_step=402144, episodic_return=-167.06716918945312 global_step=402160, episodic_return=-5.699928283691406 global_step=402208, episodic_return=-96.68506622314453 global_step=402224, episodic_return=-72.29727172851562 global_step=402320, episodic_return=-6.840263366699219 global_step=402576, episodic_return=-107.40544128417969 global_step=402608, episodic_return=-51.3246955871582 global_step=402624, episodic_return=-110.07921600341797 global_step=402848, episodic_return=-74.76713562011719 global_step=402992, episodic_return=-65.10401153564453 global_step=403216, episodic_return=-127.81706237792969 global_step=403280, episodic_return=-16.869590759277344 global_step=403520, episodic_return=-47.0041389465332 global_step=404016, episodic_return=-8.349746704101562 global_step=404192, episodic_return=-26.428260803222656 global_step=404272, episodic_return=-46.12980651855469 global_step=404304, episodic_return=-70.661376953125 global_step=404368, episodic_return=-75.00067901611328 global_step=404480, episodic_return=-102.54618835449219 global_step=404576, episodic_return=-8.560638427734375 global_step=404592, episodic_return=-240.1979217529297 global_step=404640, episodic_return=-187.01010131835938 global_step=404720, episodic_return=-63.04734802246094 global_step=404736, episodic_return=-97.61626434326172 global_step=405008, episodic_return=-191.4766845703125 global_step=405120, episodic_return=-172.69696044921875 global_step=405280, episodic_return=-82.75717163085938 global_step=405776, episodic_return=-151.81100463867188 global_step=405808, episodic_return=-141.067626953125 global_step=406000, episodic_return=-27.470848083496094 global_step=406080, episodic_return=-95.37305450439453 global_step=406272, episodic_return=-161.73353576660156 global_step=406448, episodic_return=-37.545860290527344 global_step=406464, episodic_return=-64.65084838867188 global_step=406528, episodic_return=-53.50904083251953 global_step=406608, episodic_return=-162.14732360839844 global_step=406624, episodic_return=-101.19544982910156 global_step=406688, episodic_return=-71.77146911621094 global_step=406880, episodic_return=-84.66657257080078 global_step=406912, episodic_return=-80.5498046875 global_step=407152, episodic_return=-82.13571166992188 global_step=407184, episodic_return=-40.03118896484375 global_step=407264, episodic_return=-107.41524505615234 global_step=407392, episodic_return=-101.7931137084961 global_step=407552, episodic_return=-96.19226837158203 global_step=407776, episodic_return=-48.59428024291992 global_step=408000, episodic_return=-113.39727783203125 global_step=408080, episodic_return=-198.4472198486328 global_step=408128, episodic_return=-26.15648651123047 global_step=408288, episodic_return=-92.39213562011719 global_step=408336, episodic_return=-10.942626953125 global_step=408592, episodic_return=-179.39556884765625 global_step=408624, episodic_return=-124.2869644165039 global_step=408976, episodic_return=9.093460083007812 global_step=409120, episodic_return=-54.43697738647461 global_step=409408, episodic_return=-46.69359588623047 global_step=409536, episodic_return=-124.0741958618164 SPS: 3025 global_step=409776, episodic_return=-57.92525100708008 global_step=409904, episodic_return=-44.625953674316406 global_step=410112, episodic_return=-117.40431213378906 global_step=410272, episodic_return=-284.57666015625 global_step=410432, episodic_return=-328.0838317871094 global_step=410464, episodic_return=-206.57693481445312 global_step=410624, episodic_return=-155.21295166015625 global_step=410928, episodic_return=-107.09814453125 global_step=411008, episodic_return=-81.7999267578125 global_step=411024, episodic_return=0.5299911499023438 global_step=411040, episodic_return=-159.91778564453125 global_step=411200, episodic_return=-65.06593322753906 global_step=411456, episodic_return=-62.665103912353516 global_step=411664, episodic_return=-71.2691879272461 global_step=411888, episodic_return=-87.98805236816406 global_step=411904, episodic_return=-157.18240356445312 global_step=412016, episodic_return=-95.32652282714844 global_step=412240, episodic_return=-38.69106674194336 global_step=412368, episodic_return=-83.45481872558594 global_step=412448, episodic_return=-89.97222137451172 global_step=412496, episodic_return=-18.78514862060547 global_step=412512, episodic_return=-58.593448638916016 global_step=412704, episodic_return=-81.70060729980469 global_step=412720, episodic_return=-130.87265014648438 global_step=412864, episodic_return=-100.00464630126953 global_step=413040, episodic_return=-76.29854583740234 global_step=413184, episodic_return=-55.55385208129883 global_step=413232, episodic_return=-57.3089714050293 global_step=413712, episodic_return=-110.09033966064453 global_step=414128, episodic_return=-131.6460723876953 global_step=414160, episodic_return=-178.72763061523438 global_step=414320, episodic_return=-15.277542114257812 global_step=414448, episodic_return=-93.3343734741211 global_step=414576, episodic_return=-84.54586791992188 global_step=414592, episodic_return=-108.21682739257812 global_step=414624, episodic_return=-45.973785400390625 global_step=414640, episodic_return=-56.33835220336914 global_step=414752, episodic_return=-91.5312728881836 global_step=414960, episodic_return=-193.2230224609375 global_step=415024, episodic_return=-42.78999328613281 global_step=415168, episodic_return=-194.89041137695312 global_step=415408, episodic_return=-79.10576629638672 global_step=415760, episodic_return=-63.15229034423828 global_step=416080, episodic_return=-50.227935791015625 global_step=416208, episodic_return=-187.177734375 global_step=416336, episodic_return=-66.8407211303711 global_step=416352, episodic_return=-68.88497924804688 global_step=416624, episodic_return=-71.45836639404297 global_step=416640, episodic_return=-100.3125 global_step=416656, episodic_return=-72.47610473632812 global_step=416672, episodic_return=-150.49087524414062 global_step=416832, episodic_return=-26.21210479736328 global_step=416864, episodic_return=-80.1425552368164 global_step=416960, episodic_return=-26.19672393798828 global_step=417072, episodic_return=-305.6348876953125 global_step=417328, episodic_return=-100.88980102539062 global_step=417600, episodic_return=-161.15863037109375 global_step=417632, episodic_return=-54.186744689941406 global_step=417696, episodic_return=-122.72441101074219 SPS: 3003 global_step=418096, episodic_return=-93.88677978515625 global_step=418144, episodic_return=-77.40731048583984 global_step=418288, episodic_return=-95.59341430664062 global_step=418352, episodic_return=-99.39454650878906 global_step=418400, episodic_return=-62.844547271728516 global_step=418480, episodic_return=-36.77348327636719 global_step=418528, episodic_return=-312.2987060546875 global_step=418560, episodic_return=-77.43199157714844 global_step=418768, episodic_return=2.3333740234375 global_step=418784, episodic_return=-101.08412170410156 global_step=419104, episodic_return=-132.72412109375 global_step=419232, episodic_return=-56.685482025146484 global_step=419664, episodic_return=-67.06733703613281 global_step=419808, episodic_return=-89.861083984375 global_step=419824, episodic_return=-62.72187042236328 global_step=419984, episodic_return=-28.415916442871094 global_step=420016, episodic_return=42.88599395751953 global_step=420192, episodic_return=-156.29713439941406 global_step=420208, episodic_return=-96.37716674804688 global_step=420352, episodic_return=-115.1380844116211 global_step=420416, episodic_return=-70.14263916015625 global_step=420432, episodic_return=-70.2589111328125 global_step=420448, episodic_return=-43.622459411621094 global_step=420560, episodic_return=-222.17535400390625 global_step=420784, episodic_return=-4.386421203613281 global_step=420848, episodic_return=-181.56332397460938 global_step=420960, episodic_return=-6.9856414794921875 global_step=421520, episodic_return=-220.94146728515625 global_step=421680, episodic_return=-72.19417572021484 global_step=421696, episodic_return=-44.86977005004883 global_step=421888, episodic_return=-333.2222900390625 global_step=421920, episodic_return=-63.45505905151367 global_step=422080, episodic_return=-93.80508422851562 global_step=422096, episodic_return=-25.897544860839844 global_step=422256, episodic_return=-95.63983917236328 global_step=422352, episodic_return=-134.65145874023438 global_step=422496, episodic_return=-14.923652648925781 global_step=422880, episodic_return=-177.91217041015625 global_step=422944, episodic_return=-41.69316101074219 global_step=423088, episodic_return=-53.44342803955078 global_step=423392, episodic_return=-51.067108154296875 global_step=423408, episodic_return=-72.28556823730469 global_step=423424, episodic_return=-48.5308952331543 global_step=424128, episodic_return=-212.6495361328125 global_step=424208, episodic_return=-64.35462188720703 global_step=424352, episodic_return=-26.684837341308594 global_step=424400, episodic_return=-105.04600524902344 global_step=424528, episodic_return=-32.66900634765625 global_step=424704, episodic_return=-7.818443298339844 global_step=424752, episodic_return=-75.67655944824219 global_step=424768, episodic_return=-88.63294982910156 global_step=424848, episodic_return=-56.85996627807617 global_step=424928, episodic_return=-46.801918029785156 global_step=425440, episodic_return=-122.70038604736328 global_step=425536, episodic_return=-131.73936462402344 global_step=425760, episodic_return=13.276901245117188 global_step=425808, episodic_return=-69.78103637695312 global_step=425952, episodic_return=-106.36536407470703 global_step=425968, episodic_return=-110.51322174072266 SPS: 2998 global_step=426128, episodic_return=-141.40049743652344 global_step=426368, episodic_return=-44.887535095214844 global_step=426496, episodic_return=-215.51400756835938 global_step=426560, episodic_return=-84.50640869140625 global_step=426896, episodic_return=-105.47003936767578 global_step=427072, episodic_return=-75.91909790039062 global_step=427248, episodic_return=-67.558349609375 global_step=427664, episodic_return=-171.6542510986328 global_step=427760, episodic_return=-113.89957427978516 global_step=427904, episodic_return=-170.07247924804688 global_step=427936, episodic_return=-57.44166564941406 global_step=427984, episodic_return=-127.1435317993164 global_step=428144, episodic_return=-64.42301940917969 global_step=428176, episodic_return=-32.51435089111328 global_step=428320, episodic_return=-215.0201416015625 global_step=428592, episodic_return=-41.69544982910156 global_step=428656, episodic_return=-235.86453247070312 global_step=428752, episodic_return=-45.97859191894531 global_step=428800, episodic_return=-81.38343811035156 global_step=428864, episodic_return=-75.09283447265625 global_step=428880, episodic_return=-78.59849548339844 global_step=429056, episodic_return=-136.1711883544922 global_step=429072, episodic_return=-44.14896011352539 global_step=429088, episodic_return=-89.87073516845703 global_step=429360, episodic_return=-88.4212646484375 global_step=429696, episodic_return=-126.99739074707031 global_step=429792, episodic_return=-79.5645751953125 global_step=430048, episodic_return=-96.17093658447266 global_step=430096, episodic_return=-72.02714538574219 global_step=430224, episodic_return=-68.88519287109375 global_step=430288, episodic_return=18.259117126464844 global_step=430432, episodic_return=-90.17276000976562 global_step=430592, episodic_return=-130.74508666992188 global_step=430624, episodic_return=-73.90631866455078 global_step=430848, episodic_return=-177.42921447753906 global_step=431168, episodic_return=-59.71987533569336 global_step=431360, episodic_return=-53.186614990234375 global_step=431408, episodic_return=-61.33076095581055 global_step=431632, episodic_return=-74.51226806640625 global_step=431760, episodic_return=-107.58439636230469 global_step=431856, episodic_return=-27.62010955810547 global_step=431936, episodic_return=-71.71987915039062 global_step=432144, episodic_return=-33.40160369873047 global_step=432160, episodic_return=-4.323829650878906 global_step=432400, episodic_return=-135.17349243164062 global_step=432432, episodic_return=-29.544090270996094 global_step=432528, episodic_return=-37.00884246826172 global_step=432832, episodic_return=-120.07669067382812 global_step=432976, episodic_return=-70.57316589355469 global_step=433280, episodic_return=-147.27978515625 global_step=433376, episodic_return=-90.01795196533203 global_step=433424, episodic_return=-72.92362976074219 global_step=433552, episodic_return=-29.228866577148438 global_step=433616, episodic_return=-89.84235382080078 global_step=433632, episodic_return=-134.75064086914062 global_step=433680, episodic_return=-0.5327301025390625 global_step=433744, episodic_return=-100.20549011230469 global_step=433952, episodic_return=-37.2672119140625 global_step=434000, episodic_return=-47.20778274536133 SPS: 2999 global_step=434256, episodic_return=-79.58240509033203 global_step=434288, episodic_return=-13.737213134765625 global_step=434512, episodic_return=-205.27374267578125 global_step=434544, episodic_return=-91.66094970703125 global_step=434592, episodic_return=-228.77679443359375 global_step=435024, episodic_return=-96.92054748535156 global_step=435200, episodic_return=-45.49785232543945 global_step=435232, episodic_return=10.791458129882812 global_step=435296, episodic_return=-63.635921478271484 global_step=435344, episodic_return=-13.5699462890625 global_step=435440, episodic_return=-151.78160095214844 global_step=435568, episodic_return=-30.617774963378906 global_step=435664, episodic_return=-69.25152587890625 global_step=435728, episodic_return=-47.43233108520508 global_step=435872, episodic_return=-13.160354614257812 global_step=435984, episodic_return=38.85078430175781 global_step=436160, episodic_return=-66.67577362060547 global_step=436336, episodic_return=-137.4200439453125 global_step=436368, episodic_return=-48.383819580078125 global_step=436544, episodic_return=-79.46698760986328 global_step=436688, episodic_return=-53.15176010131836 global_step=436736, episodic_return=-87.46147155761719 global_step=436784, episodic_return=-145.29617309570312 global_step=436848, episodic_return=-75.29029083251953 global_step=437120, episodic_return=-37.306190490722656 global_step=437136, episodic_return=-63.717281341552734 global_step=437200, episodic_return=-68.00523376464844 global_step=437392, episodic_return=-82.03765869140625 global_step=437792, episodic_return=-79.90608978271484 global_step=437968, episodic_return=-231.70887756347656 global_step=437984, episodic_return=-37.25896072387695 global_step=438144, episodic_return=-88.48149871826172 global_step=438320, episodic_return=-80.20894622802734 global_step=438352, episodic_return=-60.04930114746094 global_step=438416, episodic_return=-77.36429595947266 global_step=438512, episodic_return=-101.79119110107422 global_step=438816, episodic_return=-88.3647232055664 global_step=438976, episodic_return=-1.4725341796875 global_step=438992, episodic_return=-96.42036437988281 global_step=439056, episodic_return=-83.80875396728516 global_step=439120, episodic_return=-99.86616516113281 global_step=439312, episodic_return=-81.48163604736328 global_step=439536, episodic_return=-72.31999969482422 global_step=439616, episodic_return=-75.21990203857422 global_step=439712, episodic_return=-58.1568489074707 global_step=439776, episodic_return=-190.2267608642578 global_step=439888, episodic_return=-62.317928314208984 global_step=440224, episodic_return=-29.141311645507812 global_step=440528, episodic_return=-54.71813201904297 global_step=440672, episodic_return=-19.784011840820312 global_step=440800, episodic_return=-111.69035339355469 global_step=440816, episodic_return=-116.71022033691406 global_step=441184, episodic_return=-52.90785217285156 global_step=441424, episodic_return=-80.70883178710938 global_step=441568, episodic_return=-5.161659240722656 global_step=441792, episodic_return=-58.16202163696289 global_step=441856, episodic_return=-94.66158294677734 global_step=441920, episodic_return=-104.0223159790039 global_step=442016, episodic_return=-82.84609985351562 global_step=442176, episodic_return=-74.7910385131836 global_step=442224, episodic_return=-119.99600219726562 global_step=442240, episodic_return=-55.0474739074707 global_step=442336, episodic_return=-32.56096649169922 SPS: 2993 global_step=442528, episodic_return=-56.558650970458984 global_step=442544, episodic_return=-9.878585815429688 global_step=442624, episodic_return=-79.35134887695312 global_step=442768, episodic_return=-80.63554382324219 global_step=443344, episodic_return=-12.129684448242188 global_step=443472, episodic_return=-187.38710021972656 global_step=443504, episodic_return=-99.30973815917969 global_step=443552, episodic_return=-112.4947509765625 global_step=443664, episodic_return=-43.65386962890625 global_step=443712, episodic_return=-50.134765625 global_step=444064, episodic_return=26.677162170410156 global_step=444080, episodic_return=-132.39276123046875 global_step=444480, episodic_return=-43.42486572265625 global_step=444832, episodic_return=-15.114120483398438 global_step=444960, episodic_return=-209.46731567382812 global_step=445024, episodic_return=-65.21554565429688 global_step=445216, episodic_return=-175.13607788085938 global_step=445232, episodic_return=-237.70404052734375 global_step=445360, episodic_return=10.979476928710938 global_step=445520, episodic_return=-69.70745849609375 global_step=445568, episodic_return=13.333633422851562 global_step=445616, episodic_return=-67.3170166015625 global_step=445744, episodic_return=-87.26891326904297 global_step=446304, episodic_return=-32.75342559814453 global_step=446656, episodic_return=-32.02378845214844 global_step=446688, episodic_return=-108.40682983398438 global_step=446736, episodic_return=1.7357025146484375 global_step=446912, episodic_return=-251.1543426513672 global_step=447104, episodic_return=-22.531288146972656 global_step=447136, episodic_return=-58.886207580566406 global_step=447264, episodic_return=-27.818954467773438 global_step=447280, episodic_return=-49.507381439208984 global_step=447440, episodic_return=-148.2797088623047 global_step=447488, episodic_return=-15.064971923828125 global_step=447632, episodic_return=-50.40585708618164 global_step=447680, episodic_return=-28.260948181152344 global_step=447792, episodic_return=-31.448394775390625 global_step=448224, episodic_return=-75.69163513183594 global_step=448672, episodic_return=-70.74271392822266 global_step=448768, episodic_return=-33.739356994628906 global_step=448848, episodic_return=-134.66419982910156 global_step=448944, episodic_return=-34.874298095703125 global_step=449024, episodic_return=-21.139266967773438 global_step=449184, episodic_return=12.189826965332031 global_step=449216, episodic_return=-76.84647369384766 global_step=449296, episodic_return=-85.46708679199219 global_step=449424, episodic_return=-73.16159057617188 global_step=449552, episodic_return=-5.295204162597656 global_step=449696, episodic_return=-217.94459533691406 global_step=449840, episodic_return=-102.48197937011719 global_step=450240, episodic_return=-80.86805725097656 global_step=450384, episodic_return=-114.29215240478516 global_step=450432, episodic_return=-140.21957397460938 global_step=450480, episodic_return=-115.42940521240234 global_step=450512, episodic_return=-50.68871307373047 SPS: 2984 global_step=450736, episodic_return=-101.29051208496094 global_step=450784, episodic_return=-39.1902961730957 global_step=450992, episodic_return=-209.8248748779297 global_step=451056, episodic_return=-95.44237518310547 global_step=451104, episodic_return=-99.95167541503906 global_step=451312, episodic_return=-147.705078125 global_step=451872, episodic_return=-186.91513061523438 global_step=452112, episodic_return=-200.4329376220703 global_step=452304, episodic_return=-69.28579711914062 global_step=452576, episodic_return=-77.7759780883789 global_step=452752, episodic_return=-180.98919677734375 global_step=452784, episodic_return=-46.749996185302734 global_step=452976, episodic_return=-99.13829040527344 global_step=453120, episodic_return=-164.61314392089844 global_step=453152, episodic_return=-215.45208740234375 global_step=453296, episodic_return=-92.81167602539062 global_step=453424, episodic_return=-51.54645919799805 global_step=453728, episodic_return=-130.2647705078125 global_step=453744, episodic_return=-45.56769561767578 global_step=453904, episodic_return=-129.7752227783203 global_step=454288, episodic_return=-55.00542449951172 global_step=454304, episodic_return=-75.92320251464844 global_step=454624, episodic_return=-142.42056274414062 global_step=454928, episodic_return=-131.68223571777344 global_step=455008, episodic_return=-81.43755340576172 global_step=455072, episodic_return=-102.84976196289062 global_step=455408, episodic_return=-111.99330139160156 global_step=455504, episodic_return=-101.03189086914062 global_step=455520, episodic_return=-43.0217399597168 global_step=455712, episodic_return=-109.94898986816406 global_step=455856, episodic_return=-357.5556945800781 global_step=455872, episodic_return=-66.8973388671875 global_step=456176, episodic_return=-226.88511657714844 global_step=456480, episodic_return=-73.91352081298828 global_step=456688, episodic_return=-114.105712890625 global_step=456848, episodic_return=-82.50714111328125 global_step=456928, episodic_return=-123.63984680175781 global_step=457152, episodic_return=-34.40349578857422 global_step=457312, episodic_return=-86.57804107666016 global_step=457360, episodic_return=-97.56184387207031 global_step=457600, episodic_return=-73.74142456054688 global_step=457904, episodic_return=-102.01895904541016 global_step=458112, episodic_return=-157.74488830566406 global_step=458208, episodic_return=-8.953689575195312 global_step=458336, episodic_return=-174.25509643554688 global_step=458624, episodic_return=-115.68063354492188 global_step=458640, episodic_return=-75.51554870605469 SPS: 2962 global_step=458768, episodic_return=37.9082145690918 global_step=459104, episodic_return=-68.73338317871094 global_step=459184, episodic_return=-112.22858428955078 global_step=459216, episodic_return=-59.07441329956055 global_step=459488, episodic_return=-47.984275817871094 global_step=459584, episodic_return=-57.74747085571289 global_step=459680, episodic_return=-37.400455474853516 global_step=459712, episodic_return=-69.11476135253906 global_step=459744, episodic_return=28.43896484375 global_step=459936, episodic_return=-88.21537017822266 global_step=460032, episodic_return=-81.75851440429688 global_step=460128, episodic_return=-256.29913330078125 global_step=460304, episodic_return=-35.88330078125 global_step=460336, episodic_return=-141.1529998779297 global_step=460496, episodic_return=-115.57470703125 global_step=460528, episodic_return=-166.75448608398438 global_step=460736, episodic_return=-43.42509841918945 global_step=460800, episodic_return=-110.29707336425781 global_step=460832, episodic_return=-42.086910247802734 global_step=460992, episodic_return=-13.772857666015625 global_step=461744, episodic_return=-34.554664611816406 global_step=461776, episodic_return=-39.952552795410156 global_step=462032, episodic_return=-132.88331604003906 global_step=462080, episodic_return=-66.38482666015625 global_step=462160, episodic_return=-83.14762878417969 global_step=462176, episodic_return=-62.25025939941406 global_step=462256, episodic_return=-87.61688995361328 global_step=462352, episodic_return=36.77400207519531 global_step=462448, episodic_return=-63.549903869628906 global_step=462480, episodic_return=-472.3710021972656 global_step=462704, episodic_return=-81.56011962890625 global_step=462752, episodic_return=-116.09249877929688 global_step=463264, episodic_return=-186.1741943359375 global_step=463296, episodic_return=-70.66487121582031 global_step=463360, episodic_return=-250.2144317626953 global_step=463744, episodic_return=-49.34321212768555 global_step=463920, episodic_return=-66.0355453491211 global_step=464032, episodic_return=-75.76739501953125 global_step=464048, episodic_return=-293.70794677734375 global_step=464160, episodic_return=-86.02566528320312 global_step=464240, episodic_return=-133.28440856933594 global_step=464352, episodic_return=-95.24761962890625 global_step=464496, episodic_return=10.195335388183594 global_step=464528, episodic_return=-187.9368896484375 global_step=464656, episodic_return=-241.17904663085938 global_step=464784, episodic_return=-71.52174377441406 global_step=464944, episodic_return=17.127668380737305 global_step=465008, episodic_return=-21.22020721435547 global_step=465344, episodic_return=-236.84568786621094 global_step=465552, episodic_return=-22.969192504882812 global_step=465616, episodic_return=-29.585098266601562 global_step=465632, episodic_return=-90.39969635009766 global_step=465840, episodic_return=-54.37849807739258 global_step=465936, episodic_return=5.2220001220703125 global_step=465968, episodic_return=-103.97614288330078 global_step=465984, episodic_return=-85.4591293334961 global_step=466016, episodic_return=-73.560791015625 global_step=466096, episodic_return=-92.31303405761719 global_step=466112, episodic_return=-92.30880737304688 global_step=466256, episodic_return=-38.888309478759766 global_step=466336, episodic_return=-68.97019958496094 global_step=466432, episodic_return=-38.04524612426758 global_step=466704, episodic_return=-57.72438049316406 global_step=466880, episodic_return=12.391326904296875 global_step=466896, episodic_return=-45.79126739501953 SPS: 2956 global_step=467280, episodic_return=-81.81511688232422 global_step=467328, episodic_return=-87.4564437866211 global_step=467424, episodic_return=-130.51235961914062 global_step=467856, episodic_return=-134.90863037109375 global_step=467888, episodic_return=-59.20172882080078 global_step=468064, episodic_return=-80.0147705078125 global_step=468096, episodic_return=38.08148193359375 global_step=468336, episodic_return=-109.45176696777344 global_step=468432, episodic_return=-208.4230194091797 global_step=468544, episodic_return=-96.21726989746094 global_step=468608, episodic_return=-45.926551818847656 global_step=468976, episodic_return=-57.46467971801758 global_step=469072, episodic_return=-18.811073303222656 global_step=469168, episodic_return=-242.14828491210938 global_step=469184, episodic_return=-37.47386932373047 global_step=469584, episodic_return=-43.00568389892578 global_step=469632, episodic_return=-35.584625244140625 global_step=469712, episodic_return=-195.3511505126953 global_step=469776, episodic_return=-26.093246459960938 global_step=469872, episodic_return=-74.42958068847656 global_step=470016, episodic_return=-81.62020111083984 global_step=470032, episodic_return=-68.50064849853516 global_step=470416, episodic_return=-59.636192321777344 global_step=470496, episodic_return=-83.69184875488281 global_step=470544, episodic_return=-71.62994384765625 global_step=470640, episodic_return=-54.34015655517578 global_step=470736, episodic_return=-61.263248443603516 global_step=470960, episodic_return=-68.79582977294922 global_step=471136, episodic_return=-41.51227569580078 global_step=471392, episodic_return=-205.5248565673828 global_step=471472, episodic_return=-156.4772186279297 global_step=471488, episodic_return=-82.11871337890625 global_step=471744, episodic_return=-9.523170471191406 global_step=471808, episodic_return=-53.76034164428711 global_step=471904, episodic_return=-156.17218017578125 global_step=471968, episodic_return=-139.2949676513672 global_step=472432, episodic_return=-105.59022521972656 global_step=472464, episodic_return=-102.26592254638672 global_step=472960, episodic_return=-29.7945556640625 global_step=473232, episodic_return=-118.126953125 global_step=473392, episodic_return=-72.06954193115234 global_step=473504, episodic_return=-95.39151763916016 global_step=473600, episodic_return=-25.509170532226562 global_step=473744, episodic_return=-129.06680297851562 global_step=473808, episodic_return=-144.89613342285156 global_step=473840, episodic_return=-278.55755615234375 global_step=473968, episodic_return=-212.57972717285156 global_step=474416, episodic_return=-18.048446655273438 global_step=474528, episodic_return=-150.62977600097656 global_step=474848, episodic_return=-82.05148315429688 global_step=475040, episodic_return=-94.19281768798828 global_step=475136, episodic_return=-49.898048400878906 SPS: 2939 global_step=475280, episodic_return=-35.21772766113281 global_step=475296, episodic_return=-55.275390625 global_step=475632, episodic_return=-125.85601043701172 global_step=475776, episodic_return=-68.39229583740234 global_step=475856, episodic_return=-42.58464813232422 global_step=475968, episodic_return=-50.0629997253418 global_step=476080, episodic_return=-48.47587203979492 global_step=476112, episodic_return=-162.32073974609375 global_step=476304, episodic_return=-81.18186950683594 global_step=476336, episodic_return=-83.32786560058594 global_step=477200, episodic_return=-26.05162811279297 global_step=477312, episodic_return=-75.61445617675781 global_step=477328, episodic_return=-108.01519775390625 global_step=477344, episodic_return=-37.07383346557617 global_step=477472, episodic_return=-49.12273406982422 global_step=477568, episodic_return=-83.68669128417969 global_step=477760, episodic_return=-124.634521484375 global_step=478064, episodic_return=-59.46479415893555 global_step=478352, episodic_return=-7.283821105957031 global_step=478448, episodic_return=-260.4313659667969 global_step=478688, episodic_return=-191.2615509033203 global_step=478736, episodic_return=-48.277034759521484 global_step=478784, episodic_return=-87.04977416992188 global_step=478864, episodic_return=-51.1126708984375 global_step=479104, episodic_return=-84.93177795410156 global_step=479120, episodic_return=-133.27145385742188 global_step=479248, episodic_return=-180.5548858642578 global_step=479488, episodic_return=-56.81910705566406 global_step=479856, episodic_return=-73.21475219726562 global_step=479952, episodic_return=-43.12803268432617 global_step=480240, episodic_return=-99.23970031738281 global_step=480320, episodic_return=-49.52146911621094 global_step=480368, episodic_return=-68.79243469238281 global_step=480576, episodic_return=-78.74568176269531 global_step=480656, episodic_return=-18.902793884277344 global_step=480864, episodic_return=-90.99745178222656 global_step=481040, episodic_return=-84.92696380615234 global_step=481152, episodic_return=-42.512176513671875 global_step=481168, episodic_return=-23.723533630371094 global_step=481296, episodic_return=-43.06376266479492 global_step=481392, episodic_return=-97.5118408203125 global_step=481696, episodic_return=-20.261184692382812 global_step=481904, episodic_return=-52.08425521850586 global_step=482144, episodic_return=-74.19544219970703 global_step=482320, episodic_return=-229.7334442138672 global_step=482400, episodic_return=46.02001953125 global_step=482480, episodic_return=-93.42045593261719 global_step=482624, episodic_return=-22.430580139160156 global_step=482768, episodic_return=-149.38824462890625 global_step=482896, episodic_return=-58.826934814453125 global_step=482960, episodic_return=-120.52410888671875 global_step=483104, episodic_return=10.938446044921875 global_step=483296, episodic_return=-37.63301086425781 global_step=483312, episodic_return=-84.45170593261719 SPS: 2917 global_step=483456, episodic_return=-103.98828887939453 global_step=483472, episodic_return=-34.090789794921875 global_step=483664, episodic_return=-59.46281051635742 global_step=483792, episodic_return=-54.916847229003906 global_step=483888, episodic_return=91.73004913330078 global_step=483920, episodic_return=-86.52706146240234 global_step=484096, episodic_return=-46.67936706542969 global_step=484640, episodic_return=-69.14952850341797 global_step=484784, episodic_return=-84.3691177368164 global_step=485168, episodic_return=15.129135131835938 global_step=485216, episodic_return=-27.26556396484375 global_step=485248, episodic_return=-94.59100341796875 global_step=485392, episodic_return=-82.04046630859375 global_step=485456, episodic_return=-141.35682678222656 global_step=485520, episodic_return=-88.42235565185547 global_step=485536, episodic_return=-103.48284149169922 global_step=485728, episodic_return=-231.35470581054688 global_step=485968, episodic_return=-94.10682678222656 global_step=486192, episodic_return=-83.22579956054688 global_step=486272, episodic_return=-83.73165893554688 global_step=486288, episodic_return=-97.10486602783203 global_step=486704, episodic_return=-172.63546752929688 global_step=486848, episodic_return=-62.03792190551758 global_step=486864, episodic_return=-323.3169860839844 global_step=487040, episodic_return=-163.26332092285156 global_step=487104, episodic_return=-45.8690071105957 global_step=487312, episodic_return=-93.09135437011719 global_step=487536, episodic_return=-125.70516204833984 global_step=487584, episodic_return=-45.91447067260742 global_step=487744, episodic_return=-92.42748260498047 global_step=487840, episodic_return=39.372344970703125 global_step=487968, episodic_return=-213.19406127929688 global_step=488176, episodic_return=-31.584617614746094 global_step=488368, episodic_return=-66.11316680908203 global_step=488544, episodic_return=-58.960289001464844 global_step=488688, episodic_return=-2.5522232055664062 global_step=488784, episodic_return=1.8056793212890625 global_step=488800, episodic_return=13.164276123046875 global_step=488896, episodic_return=-144.45175170898438 global_step=488944, episodic_return=-35.735206604003906 global_step=489024, episodic_return=-137.51300048828125 global_step=489120, episodic_return=-276.16650390625 global_step=489296, episodic_return=-75.34149169921875 global_step=489344, episodic_return=-144.83908081054688 global_step=489488, episodic_return=-64.11181640625 global_step=489584, episodic_return=-132.72946166992188 global_step=489632, episodic_return=-30.83763885498047 global_step=489856, episodic_return=-184.52589416503906 global_step=489936, episodic_return=-87.1977310180664 global_step=490176, episodic_return=-63.21564483642578 global_step=490320, episodic_return=-162.65415954589844 global_step=490528, episodic_return=-47.6574821472168 global_step=490560, episodic_return=-24.52387237548828 global_step=490624, episodic_return=-96.60360717773438 global_step=490688, episodic_return=-72.15721893310547 global_step=490976, episodic_return=-158.43612670898438 global_step=491088, episodic_return=-8.550834655761719 global_step=491520, episodic_return=-72.58564758300781 SPS: 2918 global_step=491744, episodic_return=-94.38143920898438 global_step=491872, episodic_return=-148.13912963867188 global_step=491984, episodic_return=-99.14738464355469 global_step=492032, episodic_return=-187.22470092773438 global_step=492064, episodic_return=2.528167724609375 global_step=492128, episodic_return=-75.99554443359375 global_step=492320, episodic_return=-17.924659729003906 global_step=492432, episodic_return=-91.03455352783203 global_step=492544, episodic_return=-96.08973693847656 global_step=492608, episodic_return=-90.57389068603516 global_step=492704, episodic_return=-30.927459716796875 global_step=492912, episodic_return=-77.41490936279297 global_step=493280, episodic_return=-52.51556396484375 global_step=493584, episodic_return=-50.542457580566406 global_step=493696, episodic_return=-53.74026107788086 global_step=493760, episodic_return=-45.86044692993164 global_step=493952, episodic_return=-113.1651382446289 global_step=494112, episodic_return=-86.11859130859375 global_step=494192, episodic_return=-82.76838684082031 global_step=494288, episodic_return=-37.61842727661133 global_step=494320, episodic_return=-87.07353210449219 global_step=494368, episodic_return=-38.62284469604492 global_step=494448, episodic_return=-63.17339324951172 global_step=494576, episodic_return=-63.99349594116211 global_step=494592, episodic_return=14.087615966796875 global_step=494848, episodic_return=-129.9398651123047 global_step=495168, episodic_return=15.660301208496094 global_step=495264, episodic_return=-244.3777618408203 global_step=495296, episodic_return=-105.39041137695312 global_step=495328, episodic_return=-56.68293380737305 global_step=495712, episodic_return=-108.58248901367188 global_step=495904, episodic_return=-43.400211334228516 global_step=495936, episodic_return=-87.61936950683594 global_step=496032, episodic_return=-51.77748107910156 global_step=496464, episodic_return=-61.460205078125 global_step=496512, episodic_return=-59.35683059692383 global_step=496528, episodic_return=-96.74636840820312 global_step=496544, episodic_return=-81.64066314697266 global_step=496576, episodic_return=20.800514221191406 global_step=496592, episodic_return=-101.29032897949219 global_step=497056, episodic_return=-33.27039337158203 global_step=497120, episodic_return=-34.48320770263672 global_step=497296, episodic_return=-32.82476043701172 global_step=497488, episodic_return=-48.631187438964844 global_step=497760, episodic_return=-218.99404907226562 global_step=497856, episodic_return=-178.2881317138672 global_step=497968, episodic_return=-95.10012817382812 global_step=498048, episodic_return=-36.061180114746094 global_step=498368, episodic_return=-57.216575622558594 global_step=498400, episodic_return=-50.690093994140625 global_step=498576, episodic_return=-42.0741081237793 global_step=499136, episodic_return=-178.41427612304688 global_step=499168, episodic_return=4.2597198486328125 global_step=499232, episodic_return=-57.806827545166016 global_step=499248, episodic_return=-102.47217559814453 global_step=499280, episodic_return=-65.97608947753906 global_step=499312, episodic_return=-196.43153381347656 global_step=499520, episodic_return=-74.64036560058594 SPS: 2919 global_step=499728, episodic_return=-290.00531005859375 global_step=500208, episodic_return=-65.95760345458984 global_step=500496, episodic_return=-52.25654220581055 global_step=500592, episodic_return=-119.18502807617188 global_step=500608, episodic_return=-164.82492065429688 global_step=501024, episodic_return=-50.10742950439453 global_step=501088, episodic_return=-68.01062774658203 global_step=501232, episodic_return=-105.0335922241211 global_step=501248, episodic_return=-68.47048950195312 global_step=501312, episodic_return=-66.97592163085938 global_step=501392, episodic_return=-66.01000213623047 global_step=501504, episodic_return=-48.602088928222656 global_step=501520, episodic_return=-71.05282592773438 global_step=501760, episodic_return=-110.76946258544922 global_step=501984, episodic_return=-64.01920318603516 global_step=502416, episodic_return=-10.987602233886719 global_step=502672, episodic_return=-79.78380584716797 global_step=502720, episodic_return=-161.59153747558594 global_step=502784, episodic_return=-129.73117065429688 global_step=502864, episodic_return=-36.873111724853516 global_step=502992, episodic_return=-72.91332244873047 global_step=503008, episodic_return=-75.42326354980469 global_step=503088, episodic_return=-2.1723175048828125 global_step=503136, episodic_return=-44.80851364135742 global_step=503152, episodic_return=-107.11251831054688 global_step=503408, episodic_return=-71.87498474121094 global_step=503904, episodic_return=-69.42532348632812 global_step=503920, episodic_return=-55.08638000488281 global_step=503984, episodic_return=-100.35122680664062 global_step=504208, episodic_return=-57.97372055053711 global_step=504416, episodic_return=-126.69395446777344 global_step=504464, episodic_return=-218.76327514648438 global_step=504624, episodic_return=-91.82410430908203 global_step=504784, episodic_return=-99.33478546142578 global_step=504864, episodic_return=-60.39493179321289 global_step=504912, episodic_return=-46.12963104248047 global_step=505104, episodic_return=-50.483585357666016 global_step=505184, episodic_return=-55.886192321777344 global_step=505248, episodic_return=-50.19938278198242 global_step=505456, episodic_return=-68.01113891601562 global_step=505760, episodic_return=-82.15226745605469 global_step=505792, episodic_return=-122.41881561279297 global_step=506128, episodic_return=-145.84010314941406 global_step=506176, episodic_return=-25.202682495117188 global_step=506320, episodic_return=-53.136985778808594 global_step=506336, episodic_return=-58.68208312988281 global_step=506448, episodic_return=3.5995254516601562 global_step=506512, episodic_return=-38.64725875854492 global_step=506816, episodic_return=-34.62554931640625 global_step=507040, episodic_return=-65.42958068847656 global_step=507232, episodic_return=-3.8349533081054688 global_step=507680, episodic_return=-45.40800857543945 global_step=507712, episodic_return=-86.77484130859375 global_step=507888, episodic_return=-159.6322021484375 SPS: 2905 global_step=507920, episodic_return=-67.8911361694336 global_step=507936, episodic_return=-56.16487121582031 global_step=508016, episodic_return=-20.839317321777344 global_step=508128, episodic_return=-142.50064086914062 global_step=508176, episodic_return=-30.151107788085938 global_step=508688, episodic_return=-53.37529373168945 global_step=508736, episodic_return=-27.839263916015625 global_step=508944, episodic_return=-93.62052154541016 global_step=509040, episodic_return=-74.83792114257812 global_step=509232, episodic_return=-166.69821166992188 global_step=509328, episodic_return=-58.42228698730469 global_step=509552, episodic_return=-93.37195587158203 global_step=509664, episodic_return=-52.71574020385742 global_step=509712, episodic_return=-66.312255859375 global_step=509760, episodic_return=-46.372711181640625 global_step=509856, episodic_return=-55.98706817626953 global_step=509872, episodic_return=-151.3056182861328 global_step=510224, episodic_return=-71.87471008300781 global_step=510384, episodic_return=-223.67828369140625 global_step=510624, episodic_return=-127.30625915527344 global_step=510768, episodic_return=-45.2928581237793 global_step=510800, episodic_return=-215.41604614257812 global_step=510816, episodic_return=21.59606170654297 global_step=510864, episodic_return=-103.09989166259766 global_step=510928, episodic_return=-110.56027221679688 global_step=510960, episodic_return=-90.82293701171875 global_step=510992, episodic_return=-25.081886291503906 global_step=511136, episodic_return=-95.35049438476562 global_step=511648, episodic_return=-88.9765396118164 global_step=511872, episodic_return=-50.18868637084961 global_step=512064, episodic_return=-55.653343200683594 global_step=512336, episodic_return=-100.55594635009766 global_step=512400, episodic_return=-117.625732421875 global_step=512448, episodic_return=-186.96971130371094 global_step=512688, episodic_return=-60.426734924316406 global_step=512736, episodic_return=-75.12897491455078 global_step=513200, episodic_return=-73.92684936523438 global_step=513360, episodic_return=-200.27413940429688 global_step=513392, episodic_return=-190.16696166992188 global_step=513488, episodic_return=-58.0838508605957 global_step=513568, episodic_return=11.47412109375 global_step=513600, episodic_return=-125.15451049804688 global_step=513648, episodic_return=-65.95651245117188 global_step=513744, episodic_return=-181.72909545898438 global_step=513792, episodic_return=-259.73797607421875 global_step=513840, episodic_return=-74.47648620605469 global_step=514096, episodic_return=-162.08807373046875 global_step=514208, episodic_return=-61.6897087097168 global_step=514448, episodic_return=-35.833030700683594 global_step=514864, episodic_return=-56.71343231201172 global_step=514928, episodic_return=-62.51693344116211 global_step=514992, episodic_return=-36.791015625 global_step=515280, episodic_return=42.85676956176758 global_step=515296, episodic_return=-122.38296508789062 global_step=515328, episodic_return=-76.72599029541016 global_step=515568, episodic_return=-19.119789123535156 global_step=515696, episodic_return=-64.02656555175781 global_step=515760, episodic_return=-183.53330993652344 global_step=515840, episodic_return=-47.81111145019531 global_step=516016, episodic_return=-38.61200714111328 global_step=516064, episodic_return=-125.98837280273438 SPS: 2897 global_step=516336, episodic_return=-201.24703979492188 global_step=516448, episodic_return=-20.612411499023438 global_step=516576, episodic_return=-210.66738891601562 global_step=516608, episodic_return=-107.79045867919922 global_step=516720, episodic_return=-93.67658233642578 global_step=516800, episodic_return=-19.405502319335938 global_step=516880, episodic_return=-140.77093505859375 global_step=517200, episodic_return=-57.88172912597656 global_step=517360, episodic_return=-209.0103759765625 global_step=517376, episodic_return=-85.93175506591797 global_step=517408, episodic_return=-136.73008728027344 global_step=517776, episodic_return=-149.1929168701172 global_step=518000, episodic_return=-85.26830291748047 global_step=518160, episodic_return=-74.954345703125 global_step=518256, episodic_return=-41.86856460571289 global_step=518352, episodic_return=-96.25004577636719 global_step=518480, episodic_return=-41.12514114379883 global_step=518496, episodic_return=-130.00975036621094 global_step=518704, episodic_return=-190.61163330078125 global_step=518768, episodic_return=-57.23931121826172 global_step=518944, episodic_return=-131.3212432861328 global_step=518992, episodic_return=10.555984497070312 global_step=519200, episodic_return=-99.30007934570312 global_step=519456, episodic_return=-66.72091674804688 global_step=519504, episodic_return=-79.43535614013672 global_step=519856, episodic_return=-106.04672241210938 global_step=519872, episodic_return=-119.25962829589844 global_step=520144, episodic_return=-60.23539352416992 global_step=520208, episodic_return=-70.65282440185547 global_step=520464, episodic_return=-124.18354797363281 global_step=520800, episodic_return=-93.12091064453125 global_step=520896, episodic_return=-151.88690185546875 global_step=520944, episodic_return=-110.73429107666016 global_step=520992, episodic_return=-80.24957275390625 global_step=521008, episodic_return=-87.17440795898438 global_step=521024, episodic_return=-71.31058502197266 global_step=521344, episodic_return=-102.77317810058594 global_step=521760, episodic_return=-31.746719360351562 global_step=521776, episodic_return=-136.3326416015625 global_step=521808, episodic_return=-94.30274963378906 global_step=521968, episodic_return=-59.13080978393555 global_step=522192, episodic_return=-23.648094177246094 global_step=522560, episodic_return=-88.16973114013672 global_step=522608, episodic_return=18.4166259765625 global_step=522688, episodic_return=-38.64387130737305 global_step=522704, episodic_return=-94.90042114257812 global_step=522864, episodic_return=-44.62516403198242 global_step=522928, episodic_return=-35.11833190917969 global_step=523184, episodic_return=-61.6130485534668 global_step=523280, episodic_return=-72.77539825439453 global_step=523424, episodic_return=-2.8020477294921875 global_step=523536, episodic_return=-70.70143127441406 global_step=523552, episodic_return=-309.17413330078125 global_step=523728, episodic_return=-244.71641540527344 global_step=523792, episodic_return=-34.02708435058594 global_step=523888, episodic_return=-139.42041015625 global_step=524064, episodic_return=-21.43714141845703 global_step=524256, episodic_return=-143.24130249023438 SPS: 2900 global_step=524304, episodic_return=-59.30656433105469 global_step=524432, episodic_return=-171.80068969726562 global_step=524768, episodic_return=-106.93663024902344 global_step=524912, episodic_return=-142.7914581298828 global_step=524976, episodic_return=-33.1326904296875 global_step=525056, episodic_return=-45.8204460144043 global_step=525136, episodic_return=-122.37748718261719 global_step=525504, episodic_return=-109.27191162109375 global_step=525536, episodic_return=-86.54393005371094 global_step=525584, episodic_return=-59.92317581176758 global_step=525600, episodic_return=-69.91136169433594 global_step=525680, episodic_return=-63.63568878173828 global_step=525728, episodic_return=-53.04214096069336 global_step=526048, episodic_return=-24.84056854248047 global_step=526112, episodic_return=-68.47042846679688 global_step=526272, episodic_return=-87.7547607421875 global_step=526400, episodic_return=-38.91149139404297 global_step=526640, episodic_return=-123.0012435913086 global_step=526816, episodic_return=-87.78182983398438 global_step=526832, episodic_return=-63.61589431762695 global_step=526864, episodic_return=-26.200775146484375 global_step=527072, episodic_return=-126.91680908203125 global_step=527264, episodic_return=-273.734619140625 global_step=527296, episodic_return=-67.35633850097656 global_step=527360, episodic_return=-73.19585418701172 global_step=527440, episodic_return=-53.3506965637207 global_step=527504, episodic_return=-8.356025695800781 global_step=527520, episodic_return=-43.15593719482422 global_step=528240, episodic_return=-55.47678756713867 global_step=528352, episodic_return=-33.257118225097656 global_step=528400, episodic_return=-62.35791015625 global_step=528704, episodic_return=-122.21234893798828 global_step=528736, episodic_return=-50.132301330566406 global_step=529008, episodic_return=-32.0662841796875 global_step=529056, episodic_return=-34.44303894042969 global_step=529088, episodic_return=-58.18553161621094 global_step=529200, episodic_return=-84.15122985839844 global_step=529312, episodic_return=-185.88748168945312 global_step=529440, episodic_return=-49.430686950683594 global_step=529872, episodic_return=-24.214759826660156 global_step=529968, episodic_return=-104.49273681640625 global_step=530032, episodic_return=-60.86098861694336 global_step=530160, episodic_return=-45.35662078857422 global_step=530304, episodic_return=-78.6232681274414 global_step=530336, episodic_return=-70.67575073242188 global_step=530480, episodic_return=-188.8916015625 global_step=530496, episodic_return=-20.024375915527344 global_step=530544, episodic_return=-79.99657440185547 global_step=530944, episodic_return=-65.22494506835938 global_step=531040, episodic_return=-89.2022476196289 global_step=531072, episodic_return=-76.55615997314453 global_step=531120, episodic_return=-52.419822692871094 global_step=531296, episodic_return=-48.527122497558594 global_step=531424, episodic_return=-56.15705871582031 global_step=531616, episodic_return=-89.37517547607422 global_step=532016, episodic_return=-93.07128143310547 global_step=532112, episodic_return=-92.65222930908203 global_step=532304, episodic_return=-62.576271057128906 SPS: 2901 global_step=532528, episodic_return=-30.59569549560547 global_step=532576, episodic_return=-70.66276550292969 global_step=532704, episodic_return=-67.82278442382812 global_step=532736, episodic_return=-189.10293579101562 global_step=532848, episodic_return=-61.8826904296875 global_step=532928, episodic_return=-151.53103637695312 global_step=533024, episodic_return=-58.328678131103516 global_step=533216, episodic_return=-9.502830505371094 global_step=533648, episodic_return=-107.69163513183594 global_step=533744, episodic_return=-25.76569366455078 global_step=534000, episodic_return=-66.74008178710938 global_step=534064, episodic_return=-51.586219787597656 global_step=534256, episodic_return=-129.10678100585938 global_step=534336, episodic_return=-137.4144287109375 global_step=534416, episodic_return=-45.49003601074219 global_step=534448, episodic_return=-55.98763656616211 global_step=534528, episodic_return=-119.18844604492188 global_step=534880, episodic_return=-61.26944351196289 global_step=534960, episodic_return=-57.4063606262207 global_step=535056, episodic_return=-78.26217651367188 global_step=535424, episodic_return=-75.01953125 global_step=535440, episodic_return=-61.72488784790039 global_step=535600, episodic_return=-78.23509979248047 global_step=535824, episodic_return=-59.42637252807617 global_step=536064, episodic_return=-74.66146850585938 global_step=536208, episodic_return=-69.91600799560547 global_step=536224, episodic_return=-111.83533477783203 global_step=536272, episodic_return=-43.8848991394043 global_step=536448, episodic_return=-65.451171875 global_step=536544, episodic_return=-71.64044189453125 global_step=536576, episodic_return=-101.60662841796875 global_step=536720, episodic_return=-80.8738784790039 global_step=536960, episodic_return=-238.92263793945312 global_step=537008, episodic_return=-57.411415100097656 global_step=537040, episodic_return=-85.07395935058594 global_step=537456, episodic_return=-205.9120635986328 global_step=537552, episodic_return=-68.86148834228516 global_step=537616, episodic_return=-102.29185485839844 global_step=537744, episodic_return=-49.49824142456055 global_step=537824, episodic_return=-21.107070922851562 global_step=538032, episodic_return=-65.11079406738281 global_step=538096, episodic_return=-43.70311737060547 global_step=538128, episodic_return=-1.4339141845703125 global_step=538192, episodic_return=-71.1285629272461 global_step=538848, episodic_return=-59.29649353027344 global_step=539008, episodic_return=-125.20433807373047 global_step=539120, episodic_return=-6.7274322509765625 global_step=539232, episodic_return=-88.34146881103516 global_step=539248, episodic_return=-113.04501342773438 global_step=539392, episodic_return=-114.66384887695312 global_step=539424, episodic_return=-42.50559616088867 global_step=539456, episodic_return=-199.46243286132812 global_step=539488, episodic_return=-153.15538024902344 global_step=539728, episodic_return=-143.68508911132812 global_step=539872, episodic_return=-112.56633758544922 global_step=539904, episodic_return=-115.9468994140625 global_step=539952, episodic_return=-115.0598373413086 global_step=540336, episodic_return=-35.578834533691406 global_step=540416, episodic_return=-44.44467544555664 global_step=540576, episodic_return=-119.05464935302734 SPS: 2893 global_step=541264, episodic_return=-205.99322509765625 global_step=541344, episodic_return=-121.23683166503906 global_step=541408, episodic_return=-11.197738647460938 global_step=541440, episodic_return=-78.98168182373047 global_step=541456, episodic_return=15.7330322265625 global_step=541552, episodic_return=4.637382507324219 global_step=541632, episodic_return=-39.16191482543945 global_step=541664, episodic_return=-51.224483489990234 global_step=541792, episodic_return=-43.93284225463867 global_step=541904, episodic_return=-40.69221496582031 global_step=541984, episodic_return=-133.8103485107422 global_step=542192, episodic_return=-84.0901870727539 global_step=542224, episodic_return=-95.40736389160156 global_step=542496, episodic_return=-233.654541015625 global_step=542544, episodic_return=-19.74860382080078 global_step=542704, episodic_return=-135.86605834960938 global_step=542928, episodic_return=-64.8829345703125 global_step=543008, episodic_return=-24.90430450439453 global_step=543184, episodic_return=-71.218017578125 global_step=543344, episodic_return=-100.28568267822266 global_step=543408, episodic_return=-43.658592224121094 global_step=543520, episodic_return=-96.6224136352539 global_step=543872, episodic_return=-66.90819549560547 global_step=543936, episodic_return=12.926589965820312 global_step=543968, episodic_return=16.226089477539062 global_step=544000, episodic_return=-95.57611083984375 global_step=544128, episodic_return=-186.02395629882812 global_step=544272, episodic_return=-151.89498901367188 global_step=544752, episodic_return=-60.67037582397461 global_step=544960, episodic_return=-47.636531829833984 global_step=545056, episodic_return=-97.83267974853516 global_step=545120, episodic_return=-198.99188232421875 global_step=545136, episodic_return=-159.31283569335938 global_step=545344, episodic_return=-70.63947296142578 global_step=545456, episodic_return=-6.0944976806640625 global_step=545760, episodic_return=-112.67037200927734 global_step=545856, episodic_return=4.314872741699219 global_step=545936, episodic_return=-39.90896224975586 global_step=546256, episodic_return=-138.48428344726562 global_step=546384, episodic_return=-33.904808044433594 global_step=546416, episodic_return=-139.0948944091797 global_step=546688, episodic_return=-97.70515441894531 global_step=546736, episodic_return=-111.76846313476562 global_step=546800, episodic_return=-59.792171478271484 global_step=546816, episodic_return=-96.7064208984375 global_step=546928, episodic_return=-16.888587951660156 global_step=546944, episodic_return=-51.435855865478516 global_step=547680, episodic_return=-3.0180282592773438 global_step=547696, episodic_return=-58.742286682128906 global_step=547824, episodic_return=-74.98251342773438 global_step=547920, episodic_return=-37.21220397949219 global_step=548064, episodic_return=-109.56088256835938 global_step=548144, episodic_return=-226.1777801513672 global_step=548176, episodic_return=-61.07020568847656 global_step=548208, episodic_return=-76.63065338134766 global_step=548288, episodic_return=-41.12900161743164 global_step=548336, episodic_return=-67.8350830078125 global_step=548384, episodic_return=-44.3651008605957 global_step=548656, episodic_return=-65.2423324584961 global_step=548736, episodic_return=-39.77820587158203 global_step=548816, episodic_return=-33.01930236816406 SPS: 2896 global_step=549168, episodic_return=-107.98759460449219 global_step=549680, episodic_return=-149.16897583007812 global_step=549792, episodic_return=-47.75540542602539 global_step=549920, episodic_return=-101.67349243164062 global_step=549936, episodic_return=-159.06195068359375 global_step=550000, episodic_return=-69.90472412109375 global_step=550032, episodic_return=-88.34512329101562 global_step=550176, episodic_return=-77.55835723876953 global_step=550192, episodic_return=-73.97771453857422 global_step=550272, episodic_return=-35.61363983154297 global_step=550448, episodic_return=-72.02312469482422 global_step=550512, episodic_return=-103.57372283935547 global_step=550640, episodic_return=-108.02751159667969 global_step=550688, episodic_return=-24.87859344482422 global_step=550896, episodic_return=-129.55274963378906 global_step=551248, episodic_return=-48.01577377319336 global_step=551456, episodic_return=-105.8402099609375 global_step=551728, episodic_return=-17.26793670654297 global_step=551792, episodic_return=-68.35104370117188 global_step=551872, episodic_return=-142.6192626953125 global_step=552096, episodic_return=-33.32495880126953 global_step=552400, episodic_return=-98.0601806640625 global_step=552448, episodic_return=-151.88766479492188 global_step=552608, episodic_return=-50.82783126831055 global_step=552624, episodic_return=-37.35200500488281 global_step=552736, episodic_return=-121.25577545166016 global_step=552832, episodic_return=-97.75473022460938 global_step=552928, episodic_return=-268.6954345703125 global_step=552992, episodic_return=-25.28710174560547 global_step=553040, episodic_return=-103.97889709472656 global_step=553184, episodic_return=-53.06529998779297 global_step=553200, episodic_return=-33.789306640625 global_step=553680, episodic_return=-70.23563385009766 global_step=553696, episodic_return=-81.45331573486328 global_step=553744, episodic_return=-113.42337036132812 global_step=553824, episodic_return=-195.3388671875 global_step=554144, episodic_return=-152.40562438964844 global_step=554416, episodic_return=-120.03860473632812 global_step=554864, episodic_return=-118.97806549072266 global_step=554896, episodic_return=-113.06840515136719 global_step=555168, episodic_return=1.3689651489257812 global_step=555312, episodic_return=-75.1168212890625 global_step=555360, episodic_return=-90.7567138671875 global_step=555600, episodic_return=-165.80966186523438 global_step=555808, episodic_return=-107.79645538330078 global_step=555824, episodic_return=-92.26161193847656 global_step=556080, episodic_return=-95.51571655273438 global_step=556096, episodic_return=-21.665863037109375 global_step=556192, episodic_return=-84.2442398071289 global_step=556272, episodic_return=-31.677024841308594 global_step=556432, episodic_return=-43.55690002441406 global_step=556784, episodic_return=-41.088863372802734 SPS: 2897 global_step=557424, episodic_return=-50.176639556884766 global_step=557472, episodic_return=-86.1087417602539 global_step=557488, episodic_return=-38.79388427734375 global_step=557504, episodic_return=-96.9107894897461 global_step=557520, episodic_return=-45.26137924194336 global_step=557696, episodic_return=-179.39761352539062 global_step=557728, episodic_return=-58.86576461791992 global_step=557760, episodic_return=-58.288795471191406 global_step=557856, episodic_return=-80.145751953125 global_step=558000, episodic_return=-55.18440628051758 global_step=558112, episodic_return=-45.71747970581055 global_step=558288, episodic_return=4.687126159667969 global_step=558448, episodic_return=-109.22830963134766 global_step=558672, episodic_return=-8.919242858886719 global_step=558896, episodic_return=-77.84687805175781 global_step=558960, episodic_return=-56.72248077392578 global_step=558976, episodic_return=-42.77987289428711 global_step=559360, episodic_return=-90.95768737792969 global_step=559376, episodic_return=-86.3137435913086 global_step=559472, episodic_return=-125.58448791503906 global_step=559584, episodic_return=-78.84593200683594 global_step=559600, episodic_return=-15.611434936523438 global_step=559712, episodic_return=-50.15275192260742 global_step=559824, episodic_return=13.9910888671875 global_step=559856, episodic_return=-12.444419860839844 global_step=560000, episodic_return=-103.56570434570312 global_step=560128, episodic_return=-14.395309448242188 global_step=560480, episodic_return=-221.88360595703125 global_step=560576, episodic_return=-13.293479919433594 global_step=560816, episodic_return=-53.02190017700195 global_step=560832, episodic_return=-117.12358856201172 global_step=560848, episodic_return=-45.266048431396484 global_step=560912, episodic_return=-193.54010009765625 global_step=561056, episodic_return=34.06172180175781 global_step=561264, episodic_return=-95.1200180053711 global_step=561296, episodic_return=-44.71052169799805 global_step=561520, episodic_return=-63.094181060791016 global_step=561712, episodic_return=-50.35377502441406 global_step=561840, episodic_return=1.3347244262695312 global_step=562016, episodic_return=-98.73014068603516 global_step=562288, episodic_return=-31.288490295410156 global_step=562304, episodic_return=-47.789546966552734 global_step=562336, episodic_return=-50.96257400512695 global_step=562368, episodic_return=-85.48818969726562 global_step=562512, episodic_return=-71.6176528930664 global_step=562752, episodic_return=-66.01899719238281 global_step=562976, episodic_return=-55.238224029541016 global_step=563008, episodic_return=-33.30491638183594 global_step=563024, episodic_return=-52.60846710205078 global_step=563072, episodic_return=-73.76493072509766 global_step=563200, episodic_return=-114.8069839477539 global_step=563216, episodic_return=-33.293243408203125 global_step=563536, episodic_return=-34.55827331542969 global_step=563744, episodic_return=28.58221435546875 global_step=563872, episodic_return=-38.69493865966797 global_step=563920, episodic_return=-50.279991149902344 global_step=564000, episodic_return=-58.0483283996582 global_step=564240, episodic_return=-108.86366271972656 global_step=564400, episodic_return=-80.61610412597656 global_step=564608, episodic_return=-62.888641357421875 global_step=564656, episodic_return=-70.14244079589844 global_step=564848, episodic_return=-74.61178588867188 global_step=564912, episodic_return=-59.503150939941406 global_step=564928, episodic_return=-242.2318115234375 global_step=565152, episodic_return=-93.93196105957031 SPS: 2900 global_step=565264, episodic_return=11.367912292480469 global_step=565360, episodic_return=-37.54397201538086 global_step=565392, episodic_return=-12.668403625488281 global_step=565520, episodic_return=-52.673179626464844 global_step=565840, episodic_return=60.66566467285156 global_step=566128, episodic_return=-128.45999145507812 global_step=566192, episodic_return=-42.15071105957031 global_step=566208, episodic_return=-74.52436065673828 global_step=566416, episodic_return=-160.8521728515625 global_step=566624, episodic_return=-28.447174072265625 global_step=566672, episodic_return=-20.768478393554688 global_step=566704, episodic_return=20.246673583984375 global_step=566768, episodic_return=-36.24054718017578 global_step=566880, episodic_return=-175.13015747070312 global_step=567136, episodic_return=-63.72896194458008 global_step=567248, episodic_return=-81.41130065917969 global_step=567456, episodic_return=-76.72451782226562 global_step=567520, episodic_return=-152.41818237304688 global_step=567920, episodic_return=-103.903564453125 global_step=568016, episodic_return=-211.24923706054688 global_step=568208, episodic_return=-117.95503234863281 global_step=568288, episodic_return=-51.59418487548828 global_step=568320, episodic_return=-11.012931823730469 global_step=568528, episodic_return=-77.1088638305664 global_step=568560, episodic_return=-75.87532043457031 global_step=568608, episodic_return=-115.1920166015625 global_step=568640, episodic_return=-51.09208679199219 global_step=568752, episodic_return=-65.8415756225586 global_step=569040, episodic_return=-79.32743835449219 global_step=569360, episodic_return=-111.85862731933594 global_step=569760, episodic_return=-43.563697814941406 global_step=569792, episodic_return=-143.70077514648438 global_step=569840, episodic_return=-61.9678840637207 global_step=569872, episodic_return=-144.15573120117188 global_step=569904, episodic_return=-59.82856369018555 global_step=569936, episodic_return=-53.72193908691406 global_step=570192, episodic_return=-49.07121276855469 global_step=570304, episodic_return=-35.655517578125 global_step=570496, episodic_return=-59.23560333251953 global_step=570832, episodic_return=-42.473697662353516 global_step=571072, episodic_return=-172.33160400390625 global_step=571360, episodic_return=-150.854736328125 global_step=571392, episodic_return=-35.86833953857422 global_step=571408, episodic_return=-82.69422912597656 global_step=571456, episodic_return=-97.89596557617188 global_step=571712, episodic_return=-22.086441040039062 global_step=571808, episodic_return=-65.49421691894531 global_step=571968, episodic_return=-140.7762451171875 global_step=571984, episodic_return=-12.51995849609375 global_step=572096, episodic_return=-44.876441955566406 global_step=572336, episodic_return=-48.645851135253906 global_step=572544, episodic_return=-35.924293518066406 global_step=572784, episodic_return=-95.7941665649414 global_step=572800, episodic_return=-73.63723754882812 global_step=572976, episodic_return=-25.671592712402344 global_step=572992, episodic_return=-114.76211547851562 global_step=573296, episodic_return=-31.07781219482422 global_step=573376, episodic_return=24.096946716308594 global_step=573408, episodic_return=-115.22894287109375 SPS: 2891 global_step=573584, episodic_return=-66.71017456054688 global_step=573696, episodic_return=-91.01220703125 global_step=574096, episodic_return=-41.457786560058594 global_step=574176, episodic_return=-61.61186599731445 global_step=574272, episodic_return=-105.19315338134766 global_step=574480, episodic_return=-79.639404296875 global_step=574608, episodic_return=-74.62229919433594 global_step=574688, episodic_return=-14.178764343261719 global_step=574800, episodic_return=-59.15445327758789 global_step=575312, episodic_return=5.6793670654296875 global_step=575392, episodic_return=-105.655029296875 global_step=575408, episodic_return=-17.891357421875 global_step=575632, episodic_return=-99.08808898925781 global_step=575792, episodic_return=-65.33190155029297 global_step=575872, episodic_return=-53.96285629272461 global_step=576016, episodic_return=-48.15614318847656 global_step=576176, episodic_return=-191.7823486328125 global_step=576272, episodic_return=-14.851310729980469 global_step=576352, episodic_return=-124.44403076171875 global_step=576528, episodic_return=-129.0526123046875 global_step=576544, episodic_return=-35.943870544433594 global_step=576672, episodic_return=-32.088592529296875 global_step=576864, episodic_return=-35.93292999267578 global_step=576960, episodic_return=-24.646385192871094 global_step=577072, episodic_return=-64.96251678466797 global_step=577152, episodic_return=-54.42757034301758 global_step=577168, episodic_return=-32.76923370361328 global_step=577312, episodic_return=-35.48143005371094 global_step=577440, episodic_return=-34.81037902832031 global_step=577696, episodic_return=-30.478851318359375 global_step=577904, episodic_return=-82.56748962402344 global_step=578064, episodic_return=-111.3531494140625 global_step=578192, episodic_return=-148.76258850097656 global_step=578480, episodic_return=-123.48564147949219 global_step=578528, episodic_return=-79.95535278320312 global_step=578688, episodic_return=-57.09299087524414 global_step=578752, episodic_return=-37.60337829589844 global_step=578880, episodic_return=-37.24581527709961 global_step=579024, episodic_return=-56.66872024536133 global_step=579056, episodic_return=-32.39482879638672 global_step=579264, episodic_return=-78.75657653808594 global_step=579296, episodic_return=-56.432884216308594 global_step=579504, episodic_return=-40.16374206542969 global_step=579696, episodic_return=-139.6011199951172 global_step=579744, episodic_return=-56.76435470581055 global_step=580096, episodic_return=-27.38068389892578 global_step=580272, episodic_return=-34.19142150878906 global_step=580384, episodic_return=-47.85939407348633 global_step=580400, episodic_return=-27.640182495117188 global_step=580448, episodic_return=-99.46138000488281 global_step=580672, episodic_return=-71.54348754882812 global_step=580880, episodic_return=-34.66419219970703 global_step=580912, episodic_return=-39.0590705871582 global_step=581024, episodic_return=-46.18444061279297 global_step=581104, episodic_return=-62.97939682006836 global_step=581120, episodic_return=-4.90240478515625 global_step=581184, episodic_return=-88.59076690673828 global_step=581568, episodic_return=-75.82657623291016 SPS: 2893 global_step=581984, episodic_return=-65.16545104980469 global_step=582032, episodic_return=-87.92674255371094 global_step=582048, episodic_return=-72.81790161132812 global_step=582128, episodic_return=-148.3829803466797 global_step=582160, episodic_return=-121.40126037597656 global_step=582256, episodic_return=-46.392215728759766 global_step=582352, episodic_return=-22.809059143066406 global_step=582832, episodic_return=-255.36300659179688 global_step=583024, episodic_return=-71.49488067626953 global_step=583088, episodic_return=-112.29681396484375 global_step=583216, episodic_return=-21.359169006347656 global_step=583296, episodic_return=-50.20302963256836 global_step=583568, episodic_return=-32.65809631347656 global_step=583584, episodic_return=-80.51063537597656 global_step=583680, episodic_return=-130.74923706054688 global_step=583728, episodic_return=-38.3725471496582 global_step=583840, episodic_return=-141.89236450195312 global_step=583952, episodic_return=-34.578102111816406 global_step=584176, episodic_return=-122.50787353515625 global_step=584224, episodic_return=-123.40140533447266 global_step=584576, episodic_return=-77.09486389160156 global_step=584624, episodic_return=-32.45435333251953 global_step=584992, episodic_return=-62.70918655395508 global_step=585040, episodic_return=-84.6600570678711 global_step=585056, episodic_return=-77.44119262695312 global_step=585200, episodic_return=-93.29190063476562 global_step=585616, episodic_return=-26.912857055664062 global_step=585712, episodic_return=-83.7282485961914 global_step=585856, episodic_return=-29.147750854492188 global_step=586064, episodic_return=-61.83463668823242 global_step=586128, episodic_return=-64.8106689453125 global_step=586144, episodic_return=-83.92117309570312 global_step=586320, episodic_return=-24.40489959716797 global_step=586656, episodic_return=-125.14901733398438 global_step=586816, episodic_return=-16.941421508789062 global_step=586864, episodic_return=-119.91780853271484 global_step=586880, episodic_return=-156.38223266601562 global_step=586944, episodic_return=-87.89842224121094 global_step=587104, episodic_return=-47.833778381347656 global_step=587136, episodic_return=-94.11891174316406 global_step=587264, episodic_return=2.8175888061523438 global_step=587504, episodic_return=-55.491764068603516 global_step=587760, episodic_return=-89.68577575683594 global_step=587824, episodic_return=-45.419830322265625 global_step=588000, episodic_return=-123.29167175292969 global_step=588016, episodic_return=-83.43889617919922 global_step=588320, episodic_return=-51.310447692871094 global_step=588384, episodic_return=-25.142234802246094 global_step=588672, episodic_return=-64.58890533447266 global_step=588752, episodic_return=-74.05389404296875 global_step=588832, episodic_return=-13.640815734863281 global_step=589072, episodic_return=-117.03313446044922 global_step=589312, episodic_return=-31.445655822753906 global_step=589488, episodic_return=-185.6542510986328 global_step=589584, episodic_return=-66.38086700439453 global_step=589632, episodic_return=-101.24635314941406 global_step=589776, episodic_return=-47.638065338134766 global_step=589808, episodic_return=-45.805362701416016 SPS: 2895 global_step=589904, episodic_return=-91.98810577392578 global_step=589936, episodic_return=-37.745479583740234 global_step=590160, episodic_return=-177.00204467773438 global_step=590464, episodic_return=-63.03896713256836 global_step=590784, episodic_return=-45.682151794433594 global_step=590816, episodic_return=-99.8697280883789 global_step=590848, episodic_return=-57.09077072143555 global_step=591088, episodic_return=-155.92636108398438 global_step=591248, episodic_return=-109.69313049316406 global_step=591344, episodic_return=-91.71304321289062 global_step=591376, episodic_return=-30.50975799560547 global_step=591520, episodic_return=0.592193603515625 global_step=591648, episodic_return=-38.303829193115234 global_step=592000, episodic_return=-128.4247589111328 global_step=592064, episodic_return=-43.02177047729492 global_step=592112, episodic_return=-240.5747833251953 global_step=592208, episodic_return=-69.58528900146484 global_step=592368, episodic_return=-13.295928955078125 global_step=592560, episodic_return=-62.73634338378906 global_step=592624, episodic_return=-47.16667175292969 global_step=592928, episodic_return=-78.59471893310547 global_step=593024, episodic_return=-105.1926498413086 global_step=593040, episodic_return=-53.66286849975586 global_step=593184, episodic_return=-17.987098693847656 global_step=593232, episodic_return=-32.20287322998047 global_step=593376, episodic_return=67.09977722167969 global_step=593472, episodic_return=-98.71427154541016 global_step=593488, episodic_return=-91.19388580322266 global_step=593616, episodic_return=-33.85297393798828 global_step=593872, episodic_return=-69.64264678955078 global_step=594000, episodic_return=-79.43389892578125 global_step=594096, episodic_return=-73.9886474609375 global_step=594160, episodic_return=-165.30369567871094 global_step=594272, episodic_return=-33.58857727050781 global_step=594384, episodic_return=-16.02440643310547 global_step=594688, episodic_return=-69.1706314086914 global_step=594864, episodic_return=-99.31968688964844 global_step=594992, episodic_return=-62.521095275878906 global_step=595152, episodic_return=-49.44080352783203 global_step=595216, episodic_return=-34.16899108886719 global_step=595232, episodic_return=-90.63590240478516 global_step=595312, episodic_return=-40.409454345703125 global_step=595568, episodic_return=-61.133270263671875 global_step=595712, episodic_return=-60.995445251464844 global_step=595840, episodic_return=18.640419006347656 global_step=596144, episodic_return=-188.29190063476562 global_step=596208, episodic_return=-74.39506530761719 global_step=596512, episodic_return=-102.23231506347656 global_step=596672, episodic_return=3.5905685424804688 global_step=596720, episodic_return=-162.2771453857422 global_step=596784, episodic_return=-75.02450561523438 global_step=596944, episodic_return=-65.20155334472656 global_step=597200, episodic_return=-105.57611846923828 global_step=597344, episodic_return=-70.86605834960938 global_step=597376, episodic_return=-18.771636962890625 global_step=597632, episodic_return=-138.67501831054688 global_step=597792, episodic_return=-82.60284423828125 SPS: 2896 global_step=598160, episodic_return=-52.330841064453125 global_step=598240, episodic_return=-41.22782516479492 global_step=598336, episodic_return=-36.73594284057617 global_step=598592, episodic_return=-62.239830017089844 global_step=598640, episodic_return=-93.09883117675781 global_step=598752, episodic_return=-139.8857421875 global_step=598832, episodic_return=-77.40985870361328 global_step=598928, episodic_return=-76.04420471191406 global_step=599184, episodic_return=-37.77824783325195 global_step=599584, episodic_return=-86.18452453613281 global_step=599712, episodic_return=-59.56752014160156 global_step=599840, episodic_return=-90.73562622070312 global_step=600096, episodic_return=-60.07156753540039 global_step=600304, episodic_return=-44.91948318481445 global_step=600320, episodic_return=-161.964111328125 global_step=600336, episodic_return=-137.7646484375 global_step=600496, episodic_return=-33.27674102783203 global_step=600512, episodic_return=-172.12120056152344 global_step=600704, episodic_return=-56.0693244934082 global_step=600864, episodic_return=-75.27976989746094 global_step=600928, episodic_return=-67.59683227539062 global_step=601040, episodic_return=-198.824951171875 global_step=601136, episodic_return=-74.48311614990234 global_step=601616, episodic_return=-128.48968505859375 global_step=601744, episodic_return=-53.93529510498047 global_step=601856, episodic_return=-67.79869079589844 global_step=602208, episodic_return=-15.622932434082031 global_step=602288, episodic_return=-27.964111328125 global_step=602336, episodic_return=-101.80260467529297 global_step=602464, episodic_return=-28.156723022460938 global_step=602560, episodic_return=-152.1560516357422 global_step=602608, episodic_return=-81.86813354492188 global_step=602768, episodic_return=6.3800048828125 global_step=602864, episodic_return=-14.381698608398438 global_step=603232, episodic_return=-54.73895263671875 global_step=603328, episodic_return=-50.8221549987793 global_step=603440, episodic_return=-67.23048400878906 global_step=603616, episodic_return=-2.6850433349609375 global_step=603808, episodic_return=-64.45834350585938 global_step=603968, episodic_return=-135.1014404296875 global_step=603984, episodic_return=-82.91171264648438 global_step=604208, episodic_return=-3.3829498291015625 global_step=604448, episodic_return=-156.9190216064453 global_step=604480, episodic_return=-56.098846435546875 global_step=604496, episodic_return=-1.2797393798828125 global_step=604928, episodic_return=-86.81788635253906 global_step=604992, episodic_return=-87.73567199707031 global_step=605152, episodic_return=-74.28665161132812 global_step=605280, episodic_return=-72.42772674560547 global_step=605344, episodic_return=-264.8465576171875 global_step=605456, episodic_return=-4.911048889160156 global_step=605488, episodic_return=-87.43632507324219 global_step=605600, episodic_return=-34.24591064453125 global_step=606064, episodic_return=-49.35118103027344 SPS: 2887 global_step=606224, episodic_return=-85.65621185302734 global_step=606480, episodic_return=-64.91792297363281 global_step=606688, episodic_return=-11.091796875 global_step=606800, episodic_return=-19.33930206298828 global_step=606960, episodic_return=-84.57452392578125 global_step=607008, episodic_return=-136.04344177246094 global_step=607264, episodic_return=-85.83314514160156 global_step=607296, episodic_return=-23.887290954589844 global_step=607376, episodic_return=-79.28545379638672 global_step=607664, episodic_return=-54.276363372802734 global_step=607744, episodic_return=-136.11639404296875 global_step=608080, episodic_return=-79.05941772460938 global_step=608240, episodic_return=-101.67083740234375 global_step=608256, episodic_return=-89.86166381835938 global_step=608304, episodic_return=-124.27687072753906 global_step=608608, episodic_return=-32.205955505371094 global_step=608656, episodic_return=5.583534240722656 global_step=608672, episodic_return=-61.771751403808594 global_step=609104, episodic_return=-80.12422180175781 global_step=609392, episodic_return=-257.6663818359375 global_step=609632, episodic_return=-24.797225952148438 global_step=609728, episodic_return=-93.21857452392578 global_step=609792, episodic_return=-123.24798583984375 global_step=609888, episodic_return=-44.32802200317383 global_step=609968, episodic_return=-80.41513061523438 global_step=610144, episodic_return=-95.3725814819336 global_step=610272, episodic_return=-52.840232849121094 global_step=610480, episodic_return=-132.83522033691406 global_step=610624, episodic_return=-46.95700454711914 global_step=610912, episodic_return=-103.57424926757812 global_step=610992, episodic_return=6.924919128417969 global_step=611104, episodic_return=-75.3660659790039 global_step=611264, episodic_return=-189.09716796875 global_step=611440, episodic_return=-78.3182144165039 global_step=611568, episodic_return=-77.06671905517578 global_step=611792, episodic_return=-104.13946533203125 global_step=611872, episodic_return=-22.386207580566406 global_step=612080, episodic_return=-91.59500885009766 global_step=612240, episodic_return=-61.16267776489258 global_step=612256, episodic_return=-86.78197479248047 global_step=612656, episodic_return=-64.81729125976562 global_step=612880, episodic_return=-90.71376037597656 global_step=612944, episodic_return=-69.57197570800781 global_step=613152, episodic_return=-83.15736389160156 global_step=613408, episodic_return=-62.48651123046875 global_step=613440, episodic_return=-54.53620147705078 global_step=613584, episodic_return=-88.70707702636719 global_step=613664, episodic_return=-17.009841918945312 global_step=613824, episodic_return=-40.49575424194336 global_step=613872, episodic_return=-184.74630737304688 global_step=613888, episodic_return=-52.020301818847656 global_step=614064, episodic_return=-20.544204711914062 SPS: 2881 global_step=614464, episodic_return=-32.02790069580078 global_step=614752, episodic_return=-22.816917419433594 global_step=614976, episodic_return=-102.37195587158203 global_step=615104, episodic_return=-236.95321655273438 global_step=615328, episodic_return=-91.77615356445312 global_step=615360, episodic_return=-76.75395965576172 global_step=615712, episodic_return=-14.233871459960938 global_step=615760, episodic_return=-266.1267395019531 global_step=615824, episodic_return=-92.75740051269531 global_step=615952, episodic_return=-18.520423889160156 global_step=616160, episodic_return=-255.49249267578125 global_step=616176, episodic_return=6.975921630859375 global_step=616544, episodic_return=-10.459625244140625 global_step=616608, episodic_return=-71.74472045898438 global_step=616672, episodic_return=-99.66949462890625 global_step=616704, episodic_return=6.124384880065918 global_step=616848, episodic_return=-77.05787658691406 global_step=617552, episodic_return=-210.85418701171875 global_step=617824, episodic_return=-67.72582244873047 global_step=617872, episodic_return=-7.394844055175781 global_step=617904, episodic_return=-14.567832946777344 global_step=617984, episodic_return=-29.909957885742188 global_step=618096, episodic_return=-52.89409255981445 global_step=618176, episodic_return=-2.8399887084960938 global_step=618304, episodic_return=-50.91649627685547 global_step=618336, episodic_return=-49.33332061767578 global_step=618448, episodic_return=-53.29299545288086 global_step=618512, episodic_return=-27.71112060546875 global_step=618704, episodic_return=-115.93060302734375 global_step=618768, episodic_return=-73.92955017089844 global_step=618800, episodic_return=-133.34530639648438 global_step=618816, episodic_return=-84.88407897949219 global_step=619552, episodic_return=-4.445426940917969 global_step=619840, episodic_return=-60.72724151611328 global_step=619904, episodic_return=26.001121520996094 global_step=620096, episodic_return=-72.2038803100586 global_step=620224, episodic_return=-65.48200225830078 global_step=620272, episodic_return=20.578369140625 global_step=620624, episodic_return=-8.595077514648438 global_step=620640, episodic_return=-47.26100158691406 global_step=621040, episodic_return=-87.26583862304688 global_step=621056, episodic_return=-147.3076171875 global_step=621168, episodic_return=-50.72413635253906 global_step=621488, episodic_return=10.58901309967041 global_step=621712, episodic_return=-174.11141967773438 global_step=621760, episodic_return=-91.26048278808594 global_step=621856, episodic_return=-143.13031005859375 global_step=622064, episodic_return=-120.45562744140625 global_step=622352, episodic_return=-120.87527465820312 global_step=622368, episodic_return=-109.20719909667969 global_step=622448, episodic_return=-180.65357971191406 SPS: 2875 global_step=622752, episodic_return=-85.58283996582031 global_step=622816, episodic_return=-231.6560516357422 global_step=622864, episodic_return=-3.9382476806640625 global_step=623216, episodic_return=-109.5714340209961 global_step=623456, episodic_return=-71.1212158203125 global_step=623552, episodic_return=-16.736846923828125 global_step=623584, episodic_return=-33.02051544189453 global_step=623680, episodic_return=-105.2392349243164 global_step=623712, episodic_return=-52.68670654296875 global_step=623744, episodic_return=-173.27493286132812 global_step=624240, episodic_return=-41.79610061645508 global_step=624400, episodic_return=-13.790435791015625 global_step=624544, episodic_return=13.949851989746094 global_step=624736, episodic_return=-41.15739059448242 global_step=624912, episodic_return=-36.28032302856445 global_step=625008, episodic_return=-28.649192810058594 global_step=625056, episodic_return=-20.65044403076172 global_step=625328, episodic_return=-81.61976623535156 global_step=625424, episodic_return=-104.55255126953125 global_step=625648, episodic_return=-12.741806030273438 global_step=625744, episodic_return=-24.7947998046875 global_step=625808, episodic_return=-135.537109375 global_step=625920, episodic_return=-24.772666931152344 global_step=626064, episodic_return=-180.5267333984375 global_step=626208, episodic_return=-103.31004333496094 global_step=626496, episodic_return=-77.41993713378906 global_step=626608, episodic_return=-33.02191925048828 global_step=626720, episodic_return=-120.76313018798828 global_step=626864, episodic_return=-63.55792236328125 global_step=627024, episodic_return=-30.599632263183594 global_step=627392, episodic_return=20.182327270507812 global_step=627408, episodic_return=-79.030517578125 global_step=627504, episodic_return=-66.38668823242188 global_step=627632, episodic_return=-42.57578659057617 global_step=627680, episodic_return=-69.54747009277344 global_step=627952, episodic_return=-85.20553588867188 global_step=628192, episodic_return=-55.43727111816406 global_step=628240, episodic_return=25.168487548828125 global_step=628256, episodic_return=12.010581970214844 global_step=628304, episodic_return=-60.785972595214844 global_step=628512, episodic_return=-116.58570098876953 global_step=628752, episodic_return=-113.12371826171875 global_step=628784, episodic_return=-67.63959503173828 global_step=629312, episodic_return=-100.18390655517578 global_step=629408, episodic_return=-60.77068328857422 global_step=629648, episodic_return=-52.6566276550293 global_step=629792, episodic_return=-9.80645751953125 global_step=629872, episodic_return=-85.31761932373047 global_step=629920, episodic_return=-33.08943176269531 global_step=630048, episodic_return=-52.080562591552734 global_step=630096, episodic_return=-74.089599609375 global_step=630128, episodic_return=-84.40967559814453 global_step=630240, episodic_return=-44.595394134521484 global_step=630544, episodic_return=-215.50677490234375 SPS: 2869 global_step=630864, episodic_return=-89.74518585205078 global_step=631136, episodic_return=-107.09430694580078 global_step=631344, episodic_return=-9.337471008300781 global_step=631392, episodic_return=-40.08275604248047 global_step=631440, episodic_return=-23.170249938964844 global_step=631472, episodic_return=-69.4623031616211 global_step=631904, episodic_return=-71.42273712158203 global_step=632224, episodic_return=-61.174713134765625 global_step=632336, episodic_return=-102.02359008789062 global_step=632368, episodic_return=-53.31007385253906 global_step=632384, episodic_return=-117.14032745361328 global_step=632656, episodic_return=-87.4879150390625 global_step=632848, episodic_return=-61.199623107910156 global_step=633152, episodic_return=-28.15705108642578 global_step=633568, episodic_return=-63.833961486816406 global_step=633856, episodic_return=-40.051910400390625 global_step=633872, episodic_return=-106.86053466796875 global_step=634016, episodic_return=-48.967315673828125 global_step=634304, episodic_return=-2.6146240234375 global_step=634416, episodic_return=-22.958534240722656 global_step=634448, episodic_return=-96.16746520996094 global_step=634768, episodic_return=-91.84559631347656 global_step=634800, episodic_return=47.89137649536133 global_step=635008, episodic_return=-194.2589111328125 global_step=635040, episodic_return=-75.36316680908203 global_step=635424, episodic_return=-378.46771240234375 global_step=635600, episodic_return=-108.65520477294922 global_step=635712, episodic_return=-66.29023742675781 global_step=635888, episodic_return=-63.002357482910156 global_step=636032, episodic_return=-48.21596145629883 global_step=636304, episodic_return=-77.59120178222656 global_step=636336, episodic_return=-46.69638442993164 global_step=636352, episodic_return=-23.884796142578125 global_step=636384, episodic_return=-36.98986053466797 global_step=636400, episodic_return=-40.45379638671875 global_step=636752, episodic_return=-122.12279510498047 global_step=636912, episodic_return=-40.81282043457031 global_step=637056, episodic_return=-23.58246612548828 global_step=637088, episodic_return=-11.801719665527344 global_step=637376, episodic_return=-77.23773956298828 global_step=637536, episodic_return=-110.68717956542969 global_step=637856, episodic_return=-123.2891845703125 global_step=637888, episodic_return=-95.94084167480469 global_step=638320, episodic_return=-70.04119873046875 global_step=638352, episodic_return=-89.54756164550781 global_step=638512, episodic_return=4.834861755371094 global_step=638592, episodic_return=-81.98943328857422 SPS: 2850 global_step=638992, episodic_return=-108.08690643310547 global_step=639088, episodic_return=-79.66973876953125 global_step=639200, episodic_return=-9.182464599609375 global_step=639280, episodic_return=-54.82977294921875 global_step=639600, episodic_return=-37.46628952026367 global_step=639728, episodic_return=-44.74015808105469 global_step=639744, episodic_return=-67.48382568359375 global_step=640192, episodic_return=-34.30455017089844 global_step=640224, episodic_return=-77.77742767333984 global_step=640272, episodic_return=-29.07117462158203 global_step=640384, episodic_return=-51.20728302001953 global_step=640592, episodic_return=-70.06212615966797 global_step=640672, episodic_return=5.978019714355469 global_step=641184, episodic_return=-113.49034881591797 global_step=641232, episodic_return=-65.86663055419922 global_step=641312, episodic_return=20.990768432617188 global_step=641360, episodic_return=-28.803878784179688 global_step=641408, episodic_return=-7.289459228515625 global_step=641632, episodic_return=-71.47228240966797 global_step=641680, episodic_return=-32.329627990722656 global_step=641712, episodic_return=-71.12899780273438 global_step=641968, episodic_return=-46.42498016357422 global_step=642032, episodic_return=-37.685707092285156 global_step=642208, episodic_return=-82.08950805664062 global_step=642512, episodic_return=-46.98571014404297 global_step=642544, episodic_return=-76.88255310058594 global_step=642560, episodic_return=-91.77743530273438 global_step=642640, episodic_return=-37.43340301513672 global_step=642896, episodic_return=-47.807716369628906 global_step=643184, episodic_return=-45.691104888916016 global_step=643216, episodic_return=-4.602020263671875 global_step=643280, episodic_return=-28.2841796875 global_step=643568, episodic_return=-57.01035690307617 global_step=643632, episodic_return=-43.77488327026367 global_step=643952, episodic_return=-107.60400390625 global_step=644112, episodic_return=-30.42449951171875 global_step=644640, episodic_return=-58.7436408996582 global_step=644832, episodic_return=-70.6778335571289 global_step=644880, episodic_return=20.397933959960938 global_step=644992, episodic_return=-42.895931243896484 global_step=645008, episodic_return=-44.0271110534668 global_step=645040, episodic_return=-91.53544616699219 global_step=645184, episodic_return=-128.2310028076172 global_step=645216, episodic_return=-72.3029556274414 global_step=645248, episodic_return=-63.6583366394043 global_step=645344, episodic_return=-68.46145629882812 global_step=645440, episodic_return=-55.11529541015625 global_step=645616, episodic_return=-30.410568237304688 global_step=645744, episodic_return=-57.86574172973633 global_step=646288, episodic_return=-3.1480331420898438 global_step=646320, episodic_return=-50.48667907714844 global_step=646768, episodic_return=-66.38925170898438 global_step=646896, episodic_return=3.1465530395507812 SPS: 2845 global_step=647200, episodic_return=-53.428165435791016 global_step=647248, episodic_return=-104.0495376586914 global_step=647360, episodic_return=-174.15887451171875 global_step=647408, episodic_return=-22.38019561767578 global_step=647472, episodic_return=-96.66673278808594 global_step=647664, episodic_return=-135.00613403320312 global_step=648000, episodic_return=-72.43901062011719 global_step=648224, episodic_return=-40.18458938598633 global_step=648288, episodic_return=-60.68710708618164 global_step=648336, episodic_return=-130.2039031982422 global_step=648352, episodic_return=-176.02069091796875 global_step=648384, episodic_return=-67.09683227539062 global_step=648768, episodic_return=-70.95076751708984 global_step=648784, episodic_return=-17.65753173828125 global_step=648832, episodic_return=-21.637893676757812 global_step=648912, episodic_return=21.28691864013672 global_step=649088, episodic_return=-106.36181640625 global_step=649744, episodic_return=-47.118064880371094 global_step=649968, episodic_return=-23.635093688964844 global_step=650208, episodic_return=-53.92463302612305 global_step=650240, episodic_return=-300.51800537109375 global_step=650304, episodic_return=-139.33697509765625 global_step=650320, episodic_return=-73.41986083984375 global_step=650416, episodic_return=-120.79862213134766 global_step=650608, episodic_return=-184.54617309570312 global_step=650720, episodic_return=-264.9710388183594 global_step=650768, episodic_return=-43.75260925292969 global_step=650848, episodic_return=-69.9917221069336 global_step=651056, episodic_return=-103.42430877685547 global_step=651344, episodic_return=-241.86280822753906 global_step=651600, episodic_return=-26.491844177246094 global_step=651696, episodic_return=-12.061172485351562 global_step=651792, episodic_return=-155.9545440673828 global_step=651920, episodic_return=-36.2367057800293 global_step=652016, episodic_return=25.800201416015625 global_step=652528, episodic_return=-38.72926712036133 global_step=652560, episodic_return=-91.15719604492188 global_step=652816, episodic_return=-31.50983428955078 global_step=652880, episodic_return=-176.8555145263672 global_step=652896, episodic_return=-74.96382141113281 global_step=653232, episodic_return=-63.9337272644043 global_step=653312, episodic_return=-52.71417999267578 global_step=653376, episodic_return=-53.21466064453125 global_step=653472, episodic_return=-139.88739013671875 global_step=653632, episodic_return=-96.14997100830078 global_step=653824, episodic_return=9.600494384765625 global_step=654240, episodic_return=-60.865230560302734 global_step=654336, episodic_return=-91.7470703125 global_step=654496, episodic_return=-25.113983154296875 global_step=654576, episodic_return=-3.3087692260742188 global_step=654736, episodic_return=2.5103225708007812 global_step=654752, episodic_return=-40.54990768432617 global_step=655152, episodic_return=-3.885650634765625 global_step=655328, episodic_return=27.064773559570312 SPS: 2845 global_step=655456, episodic_return=-49.947383880615234 global_step=655552, episodic_return=-64.95670318603516 global_step=655952, episodic_return=-4.9283905029296875 global_step=655984, episodic_return=-55.32090377807617 global_step=656064, episodic_return=-80.91188049316406 global_step=656192, episodic_return=-58.60198211669922 global_step=656320, episodic_return=-125.24011993408203 global_step=656480, episodic_return=-4.295341491699219 global_step=656752, episodic_return=-96.43671417236328 global_step=657312, episodic_return=-160.8204803466797 global_step=657360, episodic_return=-127.15860748291016 global_step=657392, episodic_return=-70.34307861328125 global_step=657424, episodic_return=-76.27244567871094 global_step=657456, episodic_return=-30.658607482910156 global_step=657488, episodic_return=-80.56938934326172 global_step=657536, episodic_return=-141.7133331298828 global_step=657904, episodic_return=-120.94355773925781 global_step=658080, episodic_return=-99.98062133789062 global_step=658224, episodic_return=-221.5100555419922 global_step=658544, episodic_return=-51.90052795410156 global_step=659072, episodic_return=-114.5733413696289 global_step=659120, episodic_return=-68.4378662109375 global_step=659376, episodic_return=-34.10760498046875 global_step=659392, episodic_return=-104.04598999023438 global_step=659584, episodic_return=-236.5682373046875 global_step=659632, episodic_return=-28.855499267578125 global_step=659728, episodic_return=-40.45945739746094 global_step=659808, episodic_return=-47.074337005615234 global_step=659856, episodic_return=-58.05244064331055 global_step=659872, episodic_return=-95.98635864257812 global_step=660336, episodic_return=-31.99748992919922 global_step=660704, episodic_return=-69.18406677246094 global_step=660848, episodic_return=-71.28922271728516 global_step=661232, episodic_return=-77.28417205810547 global_step=661392, episodic_return=-56.964839935302734 global_step=661440, episodic_return=-54.37568664550781 global_step=661472, episodic_return=-75.37319946289062 global_step=661840, episodic_return=-70.6964340209961 global_step=661920, episodic_return=-178.5547332763672 global_step=662032, episodic_return=-100.19802856445312 global_step=662064, episodic_return=11.143699645996094 global_step=662368, episodic_return=-27.273948669433594 global_step=662480, episodic_return=-71.75083923339844 global_step=662752, episodic_return=-7.954536437988281 global_step=663088, episodic_return=-13.073402404785156 global_step=663248, episodic_return=-69.91130828857422 SPS: 2836 global_step=663744, episodic_return=12.539741516113281 global_step=663872, episodic_return=-42.15221405029297 global_step=664016, episodic_return=-74.22488403320312 global_step=664112, episodic_return=-5.338661193847656 global_step=664208, episodic_return=-98.03263092041016 global_step=664384, episodic_return=-91.69915771484375 global_step=664416, episodic_return=-119.0191650390625 global_step=664496, episodic_return=-141.92874145507812 global_step=664608, episodic_return=-67.18585205078125 global_step=664688, episodic_return=-44.85333251953125 global_step=665296, episodic_return=-256.6026916503906 global_step=665504, episodic_return=-95.13832092285156 global_step=665536, episodic_return=-256.795166015625 global_step=665568, episodic_return=-57.35169219970703 global_step=665984, episodic_return=-102.4330062866211 global_step=666112, episodic_return=6.720306396484375 global_step=666144, episodic_return=-48.49680709838867 global_step=666320, episodic_return=-44.02627182006836 global_step=666656, episodic_return=-5.535804748535156 global_step=666704, episodic_return=-50.17652130126953 global_step=667008, episodic_return=-42.93956756591797 global_step=667088, episodic_return=-34.294166564941406 global_step=667600, episodic_return=-5.094940185546875 global_step=667680, episodic_return=-73.62582397460938 global_step=667696, episodic_return=-2.378326416015625 global_step=667792, episodic_return=-100.7066879272461 global_step=668048, episodic_return=-54.46836471557617 global_step=668160, episodic_return=-68.0904769897461 global_step=668432, episodic_return=4.475822448730469 global_step=668512, episodic_return=-122.53112030029297 global_step=668672, episodic_return=-152.63758850097656 global_step=668896, episodic_return=-51.36541748046875 global_step=668944, episodic_return=-30.31707763671875 global_step=668960, episodic_return=-92.74055480957031 global_step=669184, episodic_return=-0.31563568115234375 global_step=669232, episodic_return=22.24065399169922 global_step=669744, episodic_return=-56.647037506103516 global_step=669952, episodic_return=-73.40664672851562 global_step=670048, episodic_return=-20.669586181640625 global_step=670208, episodic_return=-52.821327209472656 global_step=670544, episodic_return=-78.04534912109375 global_step=670560, episodic_return=-169.29470825195312 global_step=670624, episodic_return=-183.9378662109375 global_step=670848, episodic_return=-173.09536743164062 global_step=670944, episodic_return=-108.55171203613281 global_step=670992, episodic_return=-104.13481140136719 global_step=671456, episodic_return=24.91901969909668 SPS: 2825 global_step=672000, episodic_return=-46.6671257019043 global_step=672080, episodic_return=-97.71636199951172 global_step=672304, episodic_return=-64.64689636230469 global_step=672496, episodic_return=-3.758575439453125 global_step=672544, episodic_return=-68.69285583496094 global_step=672608, episodic_return=-474.1575622558594 global_step=672768, episodic_return=-58.05544662475586 global_step=672800, episodic_return=-58.2464485168457 global_step=672896, episodic_return=-2.3268585205078125 global_step=673008, episodic_return=-97.32335662841797 global_step=673072, episodic_return=-17.069976806640625 global_step=673136, episodic_return=-82.56383514404297 global_step=673344, episodic_return=-72.25952911376953 global_step=673488, episodic_return=-91.5604019165039 global_step=673792, episodic_return=-45.80094909667969 global_step=674496, episodic_return=-1.9441146850585938 global_step=674576, episodic_return=-166.92079162597656 global_step=674640, episodic_return=-63.52000427246094 global_step=674800, episodic_return=-17.826271057128906 global_step=675056, episodic_return=14.646446228027344 global_step=675312, episodic_return=-118.47305297851562 global_step=675344, episodic_return=-167.5924072265625 global_step=675648, episodic_return=-166.34996032714844 global_step=675680, episodic_return=-130.6484375 global_step=675712, episodic_return=-20.00884246826172 global_step=675840, episodic_return=-7.703125 global_step=676032, episodic_return=6.329826354980469 global_step=676064, episodic_return=-87.50703430175781 global_step=676144, episodic_return=-31.144683837890625 global_step=676240, episodic_return=-59.738765716552734 global_step=676608, episodic_return=-94.2068862915039 global_step=676864, episodic_return=-118.37083435058594 global_step=677088, episodic_return=-167.7268829345703 global_step=677168, episodic_return=-70.51422119140625 global_step=677456, episodic_return=-46.94551086425781 global_step=677696, episodic_return=-77.66615295410156 global_step=677984, episodic_return=-79.9582290649414 global_step=678000, episodic_return=-46.932064056396484 global_step=678016, episodic_return=-84.74999237060547 global_step=678064, episodic_return=-43.333900451660156 global_step=678384, episodic_return=-54.540489196777344 global_step=678400, episodic_return=-167.48040771484375 global_step=678816, episodic_return=-23.21599578857422 global_step=678832, episodic_return=-87.44058227539062 global_step=679488, episodic_return=-13.139480590820312 global_step=679504, episodic_return=-40.42359924316406 global_step=679568, episodic_return=-60.03174591064453 global_step=679744, episodic_return=36.38770294189453 global_step=679776, episodic_return=-47.02644729614258 global_step=679792, episodic_return=-46.25132751464844 global_step=679840, episodic_return=-11.567367553710938 global_step=679920, episodic_return=-84.19717407226562 SPS: 2816 global_step=679952, episodic_return=-102.92827606201172 global_step=680080, episodic_return=-39.294837951660156 global_step=680320, episodic_return=-86.94676971435547 global_step=680512, episodic_return=-70.83177185058594 global_step=680976, episodic_return=-35.27528381347656 global_step=681104, episodic_return=-57.702659606933594 global_step=681536, episodic_return=-37.2923469543457 global_step=681584, episodic_return=-53.613895416259766 global_step=681872, episodic_return=-61.02457809448242 global_step=681936, episodic_return=-55.35285949707031 global_step=682016, episodic_return=-87.90087890625 global_step=682032, episodic_return=-113.33503723144531 global_step=682128, episodic_return=-14.954719543457031 global_step=682224, episodic_return=-87.77513122558594 global_step=682352, episodic_return=-4.146888732910156 global_step=682464, episodic_return=-84.63679504394531 global_step=682496, episodic_return=-76.65927124023438 global_step=682640, episodic_return=-150.80543518066406 global_step=682976, episodic_return=-70.42802429199219 global_step=683120, episodic_return=-46.429954528808594 global_step=683440, episodic_return=-112.98049926757812 global_step=683552, episodic_return=-27.71710968017578 global_step=683568, episodic_return=-39.10709762573242 global_step=683888, episodic_return=-63.58757019042969 global_step=684016, episodic_return=-56.71697998046875 global_step=684032, episodic_return=-82.91283416748047 global_step=684048, episodic_return=14.997386932373047 global_step=684144, episodic_return=-133.81875610351562 global_step=684208, episodic_return=-74.94483947753906 global_step=684256, episodic_return=-87.3936538696289 global_step=684272, episodic_return=23.169921875 global_step=684384, episodic_return=-26.22698211669922 global_step=684880, episodic_return=-49.74968719482422 global_step=684992, episodic_return=-55.3763313293457 global_step=685312, episodic_return=-22.3272705078125 global_step=685792, episodic_return=-226.392333984375 global_step=685840, episodic_return=-18.049484252929688 global_step=685888, episodic_return=-70.930908203125 global_step=685952, episodic_return=-17.98839569091797 global_step=685984, episodic_return=-54.91631317138672 global_step=686016, episodic_return=-11.365447998046875 global_step=686032, episodic_return=-54.82560348510742 global_step=686176, episodic_return=-69.48992919921875 global_step=686320, episodic_return=-10.329399108886719 global_step=686624, episodic_return=-86.5317611694336 global_step=686928, episodic_return=-76.81159973144531 global_step=687456, episodic_return=17.59698486328125 global_step=687472, episodic_return=-21.27557373046875 global_step=687584, episodic_return=-23.268470764160156 global_step=687632, episodic_return=-40.88479232788086 global_step=687984, episodic_return=-103.76687622070312 SPS: 2807 global_step=688224, episodic_return=-90.14624786376953 global_step=688336, episodic_return=-11.398567199707031 global_step=688352, episodic_return=-72.12496948242188 global_step=688368, episodic_return=-53.43242645263672 global_step=688608, episodic_return=-75.4670181274414 global_step=688656, episodic_return=-154.35337829589844 global_step=688688, episodic_return=-117.697509765625 global_step=688720, episodic_return=-66.2103271484375 global_step=688832, episodic_return=-36.8856201171875 global_step=689168, episodic_return=45.86421203613281 global_step=689504, episodic_return=-98.06977844238281 global_step=690208, episodic_return=-45.405235290527344 global_step=690240, episodic_return=-48.278690338134766 global_step=690384, episodic_return=-19.682838439941406 global_step=690400, episodic_return=-45.43977737426758 global_step=690624, episodic_return=-17.903160095214844 global_step=690784, episodic_return=-208.73336791992188 global_step=690816, episodic_return=-83.07820129394531 global_step=690880, episodic_return=-63.214759826660156 global_step=690928, episodic_return=-53.61789321899414 global_step=690944, episodic_return=-46.61545181274414 global_step=690976, episodic_return=-76.39411926269531 global_step=691168, episodic_return=-133.10400390625 global_step=691232, episodic_return=-41.69749450683594 global_step=692080, episodic_return=-22.65473175048828 global_step=692176, episodic_return=-107.9830093383789 global_step=692464, episodic_return=-136.69308471679688 global_step=692560, episodic_return=-125.7471923828125 global_step=692608, episodic_return=-21.72333526611328 global_step=692656, episodic_return=-20.949798583984375 global_step=692672, episodic_return=-44.00982666015625 global_step=692704, episodic_return=-99.5309066772461 global_step=692736, episodic_return=-80.92677307128906 global_step=692752, episodic_return=-74.23555755615234 global_step=692896, episodic_return=-80.0965347290039 global_step=693072, episodic_return=-235.84414672851562 global_step=693568, episodic_return=-70.06777954101562 global_step=693632, episodic_return=-9.718673706054688 global_step=693760, episodic_return=-39.23316955566406 global_step=693904, episodic_return=-14.857948303222656 global_step=694160, episodic_return=-49.71332550048828 global_step=694320, episodic_return=-34.09391784667969 global_step=694432, episodic_return=-108.47980499267578 global_step=694448, episodic_return=-53.46009826660156 global_step=694464, episodic_return=13.321243286132812 global_step=694816, episodic_return=-135.97283935546875 global_step=694880, episodic_return=-134.37579345703125 global_step=695456, episodic_return=-81.68881225585938 global_step=695568, episodic_return=-20.755126953125 global_step=695600, episodic_return=-213.64956665039062 global_step=695680, episodic_return=-153.07081604003906 global_step=695840, episodic_return=78.13749694824219 global_step=696016, episodic_return=-185.8580322265625 global_step=696064, episodic_return=-38.034446716308594 global_step=696224, episodic_return=-56.77455139160156 global_step=696272, episodic_return=-106.26439666748047 global_step=696320, episodic_return=-28.477371215820312 SPS: 2794 global_step=696992, episodic_return=-41.314979553222656 global_step=697040, episodic_return=-9.159843444824219 global_step=697200, episodic_return=-68.96919250488281 global_step=697216, episodic_return=-51.084041595458984 global_step=697424, episodic_return=-166.51190185546875 global_step=697536, episodic_return=-94.1114273071289 global_step=697712, episodic_return=-65.95912170410156 global_step=697760, episodic_return=-160.2847137451172 global_step=697776, episodic_return=-8.944847106933594 global_step=698256, episodic_return=-38.07932662963867 global_step=698384, episodic_return=-88.23343658447266 global_step=698496, episodic_return=-48.717140197753906 global_step=698528, episodic_return=-48.50501251220703 global_step=698912, episodic_return=-105.2574462890625 global_step=698976, episodic_return=58.610321044921875 global_step=699136, episodic_return=-64.46400451660156 global_step=699344, episodic_return=-193.75535583496094 global_step=699360, episodic_return=-19.384780883789062 global_step=699552, episodic_return=-137.89486694335938 global_step=699696, episodic_return=-79.72309112548828 global_step=699712, episodic_return=-10.69500732421875 global_step=699952, episodic_return=-99.69396209716797 global_step=700048, episodic_return=-34.41503143310547 global_step=700512, episodic_return=-10.0816650390625 global_step=700576, episodic_return=-127.19953918457031 global_step=700704, episodic_return=-23.118698120117188 global_step=700784, episodic_return=-192.86404418945312 global_step=700912, episodic_return=27.196060180664062 global_step=701008, episodic_return=-157.1721649169922 global_step=701488, episodic_return=-8.472793579101562 global_step=701568, episodic_return=-78.92706298828125 global_step=701696, episodic_return=-61.39302444458008 global_step=701712, episodic_return=-87.26628112792969 global_step=701744, episodic_return=33.04435729980469 global_step=701776, episodic_return=-22.378952026367188 global_step=701872, episodic_return=-171.21450805664062 global_step=702160, episodic_return=-33.387046813964844 global_step=702304, episodic_return=-12.873123168945312 global_step=702528, episodic_return=-49.79374313354492 global_step=702784, episodic_return=-233.5606689453125 global_step=702880, episodic_return=-68.62287139892578 global_step=703088, episodic_return=-58.009517669677734 global_step=703328, episodic_return=-75.81270599365234 global_step=703472, episodic_return=18.47466278076172 global_step=703536, episodic_return=-173.3505859375 global_step=703760, episodic_return=-53.8074836730957 global_step=703792, episodic_return=-20.74468994140625 global_step=703936, episodic_return=-14.174751281738281 global_step=704048, episodic_return=-102.60472106933594 global_step=704352, episodic_return=-133.42678833007812 SPS: 2793 global_step=704544, episodic_return=-26.887115478515625 global_step=704624, episodic_return=-24.204742431640625 global_step=704944, episodic_return=-143.02780151367188 global_step=704960, episodic_return=-127.05497741699219 global_step=705136, episodic_return=-59.95878982543945 global_step=705216, episodic_return=-187.6016845703125 global_step=705584, episodic_return=-73.22618103027344 global_step=705744, episodic_return=-41.57609558105469 global_step=705856, episodic_return=-32.416656494140625 global_step=705872, episodic_return=-126.35653686523438 global_step=705984, episodic_return=-7.977088928222656 global_step=706064, episodic_return=-71.65229797363281 global_step=706096, episodic_return=-15.071861267089844 global_step=706224, episodic_return=-24.113380432128906 global_step=706560, episodic_return=-28.67572784423828 global_step=706592, episodic_return=-137.7019500732422 global_step=706608, episodic_return=-71.9219970703125 global_step=706656, episodic_return=-48.526763916015625 global_step=706960, episodic_return=-183.81683349609375 global_step=707472, episodic_return=-63.78874206542969 global_step=707696, episodic_return=-15.099349975585938 global_step=708016, episodic_return=-143.2487335205078 global_step=708032, episodic_return=36.40324401855469 global_step=708080, episodic_return=-43.46548080444336 global_step=708112, episodic_return=-41.77539825439453 global_step=708224, episodic_return=-211.52774047851562 global_step=708432, episodic_return=-48.193397521972656 global_step=708800, episodic_return=-25.31396484375 global_step=709024, episodic_return=-101.50568389892578 global_step=709072, episodic_return=-25.362152099609375 global_step=709200, episodic_return=-32.35558319091797 global_step=709248, episodic_return=-90.0652084350586 global_step=709456, episodic_return=-140.53982543945312 global_step=709616, episodic_return=3.4357223510742188 global_step=709648, episodic_return=-5.113868713378906 global_step=709776, episodic_return=17.670013427734375 global_step=709968, episodic_return=-17.35387420654297 global_step=710032, episodic_return=-44.67760467529297 global_step=710096, episodic_return=-98.39730834960938 global_step=710752, episodic_return=-149.31260681152344 global_step=710848, episodic_return=-67.04597473144531 global_step=710960, episodic_return=-15.976753234863281 global_step=711168, episodic_return=-47.202423095703125 global_step=711216, episodic_return=-13.474632263183594 global_step=711328, episodic_return=-56.9967155456543 global_step=711616, episodic_return=-181.21914672851562 global_step=711648, episodic_return=-37.00447082519531 global_step=712032, episodic_return=10.17431640625 global_step=712048, episodic_return=-57.56341552734375 global_step=712224, episodic_return=19.68488121032715 global_step=712336, episodic_return=-56.22610092163086 SPS: 2786 global_step=712816, episodic_return=-43.88032913208008 global_step=713136, episodic_return=-198.91720581054688 global_step=713232, episodic_return=-118.34725952148438 global_step=713536, episodic_return=-78.98281860351562 global_step=713664, episodic_return=1.4611434936523438 global_step=713680, episodic_return=-64.05631256103516 global_step=713808, episodic_return=-174.48876953125 global_step=713952, episodic_return=-75.95194244384766 global_step=714048, episodic_return=-192.70632934570312 global_step=714080, episodic_return=-38.67036437988281 global_step=714736, episodic_return=7.854644775390625 global_step=714944, episodic_return=-92.2244873046875 global_step=714960, episodic_return=-463.0528564453125 global_step=715104, episodic_return=-11.892723083496094 global_step=715152, episodic_return=-70.38981628417969 global_step=715280, episodic_return=-188.582763671875 global_step=716160, episodic_return=-198.56912231445312 global_step=716192, episodic_return=-5.441902160644531 global_step=716288, episodic_return=-17.056137084960938 global_step=716656, episodic_return=-36.70292663574219 global_step=716752, episodic_return=-127.90536499023438 global_step=716832, episodic_return=-53.38396453857422 global_step=716912, episodic_return=-76.22016906738281 global_step=717408, episodic_return=-129.1316680908203 global_step=717456, episodic_return=-78.16859436035156 global_step=717472, episodic_return=-174.30337524414062 global_step=717808, episodic_return=-86.90971374511719 global_step=718064, episodic_return=-112.5623550415039 global_step=718192, episodic_return=-83.62090301513672 global_step=718352, episodic_return=-184.69418334960938 global_step=718432, episodic_return=-58.09592819213867 global_step=718736, episodic_return=-116.79240417480469 global_step=718784, episodic_return=-15.787109375 global_step=718848, episodic_return=-40.47378158569336 global_step=718976, episodic_return=-104.29739379882812 global_step=719072, episodic_return=-28.285598754882812 global_step=719328, episodic_return=24.084152221679688 global_step=719392, episodic_return=-91.2891616821289 global_step=719760, episodic_return=-42.07664489746094 global_step=719952, episodic_return=-13.635116577148438 global_step=720128, episodic_return=-79.9686050415039 global_step=720448, episodic_return=18.410606384277344 global_step=720576, episodic_return=-39.82011795043945 global_step=720704, episodic_return=-187.0458221435547 global_step=720720, episodic_return=45.133270263671875 SPS: 2773 global_step=720928, episodic_return=-77.4670181274414 global_step=721056, episodic_return=-45.62502670288086 global_step=721072, episodic_return=-47.79228210449219 global_step=721168, episodic_return=-56.47230911254883 global_step=721648, episodic_return=-22.37480926513672 global_step=721792, episodic_return=-19.858055114746094 global_step=721824, episodic_return=-139.73904418945312 global_step=722208, episodic_return=-24.96678924560547 global_step=722256, episodic_return=-29.85584259033203 global_step=722576, episodic_return=-148.62689208984375 global_step=722768, episodic_return=-44.27212142944336 global_step=722800, episodic_return=-83.36309814453125 global_step=722848, episodic_return=-95.3398208618164 global_step=723008, episodic_return=-41.685455322265625 global_step=723216, episodic_return=-34.833824157714844 global_step=723280, episodic_return=-221.45608520507812 global_step=723296, episodic_return=-118.0155258178711 global_step=723488, episodic_return=-0.2464447021484375 global_step=723616, episodic_return=-97.80302429199219 global_step=723920, episodic_return=-42.26907730102539 global_step=724176, episodic_return=14.63397216796875 global_step=724304, episodic_return=-37.744415283203125 global_step=724384, episodic_return=62.97584533691406 global_step=724416, episodic_return=-69.83660888671875 global_step=724512, episodic_return=-31.533706665039062 global_step=724704, episodic_return=-56.5919189453125 global_step=724880, episodic_return=-12.460289001464844 global_step=725184, episodic_return=-70.70796203613281 global_step=725200, episodic_return=-205.51319885253906 global_step=725488, episodic_return=-278.0698547363281 global_step=725584, episodic_return=-103.05330657958984 global_step=725616, episodic_return=-56.97920608520508 global_step=725728, episodic_return=-181.38919067382812 global_step=726048, episodic_return=-55.067298889160156 global_step=726272, episodic_return=0.5170745849609375 global_step=726304, episodic_return=-28.385818481445312 global_step=726384, episodic_return=-35.47179412841797 global_step=726768, episodic_return=-16.69793701171875 global_step=726944, episodic_return=-81.12646484375 global_step=726992, episodic_return=-42.873592376708984 global_step=727120, episodic_return=-127.60709381103516 global_step=727152, episodic_return=-87.37859344482422 global_step=727568, episodic_return=-61.0970458984375 global_step=727888, episodic_return=-38.373634338378906 global_step=728016, episodic_return=-84.98809814453125 global_step=728112, episodic_return=-37.749046325683594 global_step=728240, episodic_return=-35.195587158203125 global_step=728288, episodic_return=-179.91354370117188 global_step=728560, episodic_return=-36.58730697631836 global_step=728704, episodic_return=8.098602294921875 global_step=728736, episodic_return=-61.282493591308594 global_step=729024, episodic_return=-111.28594970703125 global_step=729040, episodic_return=-85.32669830322266 SPS: 2770 global_step=729152, episodic_return=-72.75365447998047 global_step=729680, episodic_return=31.64159393310547 global_step=729808, episodic_return=-81.38246154785156 global_step=730064, episodic_return=-120.50784301757812 global_step=730176, episodic_return=-72.75183868408203 global_step=730224, episodic_return=-177.52908325195312 global_step=730272, episodic_return=-308.7506103515625 global_step=730448, episodic_return=-238.60787963867188 global_step=730528, episodic_return=-45.626399993896484 global_step=730752, episodic_return=-23.036705017089844 global_step=730832, episodic_return=-32.45423126220703 global_step=731024, episodic_return=-72.64637756347656 global_step=731136, episodic_return=-124.98486328125 global_step=731376, episodic_return=-124.3388671875 global_step=731664, episodic_return=6.732154846191406 global_step=731888, episodic_return=-54.73979949951172 global_step=732048, episodic_return=-78.07591247558594 global_step=732336, episodic_return=-124.61006164550781 global_step=732656, episodic_return=-32.11231231689453 global_step=732848, episodic_return=-120.0723876953125 global_step=733008, episodic_return=-129.26748657226562 global_step=733024, episodic_return=-102.60303497314453 global_step=733216, episodic_return=-133.44595336914062 global_step=733280, episodic_return=-79.26789855957031 global_step=733376, episodic_return=-162.1458282470703 global_step=733424, episodic_return=-18.050613403320312 global_step=733520, episodic_return=-43.164642333984375 global_step=733568, episodic_return=-60.059608459472656 global_step=734032, episodic_return=-101.9144287109375 global_step=734160, episodic_return=-67.83819580078125 global_step=734656, episodic_return=-147.8134307861328 global_step=734704, episodic_return=-87.5351333618164 global_step=734768, episodic_return=-6.303703308105469 global_step=734928, episodic_return=-37.10118865966797 global_step=735056, episodic_return=-7.394287109375 global_step=735136, episodic_return=-112.31475830078125 global_step=735392, episodic_return=-33.53668975830078 global_step=735440, episodic_return=36.736785888671875 global_step=735456, episodic_return=-112.34456634521484 global_step=735648, episodic_return=-47.367401123046875 global_step=736016, episodic_return=-132.62130737304688 global_step=736496, episodic_return=-101.84140014648438 global_step=736512, episodic_return=-93.41770935058594 global_step=736704, episodic_return=-73.657958984375 global_step=736992, episodic_return=-100.00161743164062 global_step=737072, episodic_return=-74.97181701660156 SPS: 2771 global_step=737360, episodic_return=-42.49026107788086 global_step=737536, episodic_return=-101.28973388671875 global_step=737760, episodic_return=-54.261653900146484 global_step=737792, episodic_return=-27.35230255126953 global_step=737856, episodic_return=-231.35858154296875 global_step=738080, episodic_return=-62.97510528564453 global_step=738272, episodic_return=18.69384002685547 global_step=738448, episodic_return=2.7637481689453125 global_step=738480, episodic_return=-111.88272094726562 global_step=738768, episodic_return=-42.83071517944336 global_step=738944, episodic_return=-88.08859252929688 global_step=739104, episodic_return=-57.87907028198242 global_step=739312, episodic_return=-56.78038787841797 global_step=739344, episodic_return=-160.4278564453125 global_step=739472, episodic_return=33.57115173339844 global_step=739696, episodic_return=-60.69607925415039 global_step=740080, episodic_return=-66.237548828125 global_step=740096, episodic_return=-32.81299591064453 global_step=740128, episodic_return=-7.059074401855469 global_step=740256, episodic_return=-2.6265792846679688 global_step=740288, episodic_return=-39.26487350463867 global_step=740432, episodic_return=-8.553153991699219 global_step=740464, episodic_return=-39.854278564453125 global_step=740512, episodic_return=-91.93672180175781 global_step=740752, episodic_return=-33.472938537597656 global_step=741184, episodic_return=-57.70029067993164 global_step=741392, episodic_return=-21.5848388671875 global_step=741424, episodic_return=-55.45814895629883 global_step=741600, episodic_return=32.88677978515625 global_step=741648, episodic_return=-5.130470275878906 global_step=742080, episodic_return=-38.987762451171875 global_step=742160, episodic_return=-59.88092803955078 global_step=742320, episodic_return=-239.36700439453125 global_step=742336, episodic_return=-45.14223098754883 global_step=742448, episodic_return=-84.9349594116211 global_step=742464, episodic_return=-94.2332763671875 global_step=742720, episodic_return=-52.057186126708984 global_step=742816, episodic_return=1.5160140991210938 global_step=743424, episodic_return=-224.06471252441406 global_step=743504, episodic_return=-78.699951171875 global_step=743568, episodic_return=-121.46165466308594 global_step=743888, episodic_return=-201.40524291992188 global_step=743904, episodic_return=-42.182228088378906 global_step=744096, episodic_return=-91.52110290527344 global_step=744288, episodic_return=-189.02490234375 global_step=744320, episodic_return=4.5183258056640625 global_step=744336, episodic_return=-128.6173095703125 global_step=744528, episodic_return=-84.76437377929688 global_step=744752, episodic_return=-47.62083053588867 global_step=744784, episodic_return=-74.89163208007812 global_step=744896, episodic_return=-36.80473327636719 global_step=744912, episodic_return=-18.589744567871094 global_step=745168, episodic_return=-54.30201721191406 global_step=745424, episodic_return=-91.65836334228516 SPS: 2770 global_step=745728, episodic_return=-122.48555755615234 global_step=745920, episodic_return=-70.73374938964844 global_step=745984, episodic_return=-50.145999908447266 global_step=746400, episodic_return=-44.89561462402344 global_step=746480, episodic_return=-28.053794860839844 global_step=746832, episodic_return=-117.25287628173828 global_step=746848, episodic_return=-9.20318603515625 global_step=746896, episodic_return=17.707199096679688 global_step=746960, episodic_return=-31.203712463378906 global_step=747184, episodic_return=-82.18550109863281 global_step=747296, episodic_return=-22.328163146972656 global_step=747376, episodic_return=-165.3864288330078 global_step=747568, episodic_return=-36.90896224975586 global_step=747968, episodic_return=-161.0001220703125 global_step=748160, episodic_return=-88.88011169433594 global_step=748272, episodic_return=-39.61954116821289 global_step=748320, episodic_return=-109.44894409179688 global_step=748752, episodic_return=-126.24815368652344 global_step=748960, episodic_return=-53.41825485229492 global_step=749008, episodic_return=-40.22325134277344 global_step=749072, episodic_return=-162.62176513671875 global_step=749136, episodic_return=-9.930694580078125 global_step=749600, episodic_return=-21.347442626953125 global_step=749824, episodic_return=-138.49908447265625 global_step=750240, episodic_return=-74.7278823852539 global_step=750352, episodic_return=-99.94505310058594 global_step=750432, episodic_return=-68.69950866699219 global_step=750528, episodic_return=-50.54324722290039 global_step=750768, episodic_return=-69.80929565429688 global_step=750944, episodic_return=-87.71611785888672 global_step=751280, episodic_return=-99.63066101074219 global_step=751440, episodic_return=-23.895584106445312 global_step=751584, episodic_return=-156.9539794921875 global_step=751648, episodic_return=-340.62884521484375 global_step=751696, episodic_return=-23.897544860839844 global_step=752272, episodic_return=-3.8825607299804688 global_step=752464, episodic_return=-57.972564697265625 global_step=752480, episodic_return=-80.88799285888672 global_step=752704, episodic_return=-92.41474151611328 global_step=752976, episodic_return=-51.8529167175293 global_step=753040, episodic_return=-62.75290298461914 global_step=753088, episodic_return=-40.671871185302734 global_step=753152, episodic_return=59.5003662109375 global_step=753360, episodic_return=-87.18910217285156 global_step=753392, episodic_return=-52.45989990234375 SPS: 2762 global_step=754000, episodic_return=-51.52544403076172 global_step=754176, episodic_return=-219.9640655517578 global_step=754368, episodic_return=-64.94602966308594 global_step=754544, episodic_return=-256.3269348144531 global_step=754608, episodic_return=11.821617126464844 global_step=754752, episodic_return=-16.176025390625 global_step=755120, episodic_return=-24.284950256347656 global_step=755248, episodic_return=-37.2603645324707 global_step=755376, episodic_return=-23.34363555908203 global_step=755392, episodic_return=-98.62928009033203 global_step=755440, episodic_return=-46.37885665893555 global_step=755872, episodic_return=-107.64283752441406 global_step=756256, episodic_return=-145.360595703125 global_step=756400, episodic_return=-32.467864990234375 global_step=756432, episodic_return=-33.52555847167969 global_step=756800, episodic_return=-19.647789001464844 global_step=757216, episodic_return=-110.88752746582031 global_step=757264, episodic_return=-389.1264343261719 global_step=757296, episodic_return=-44.94010543823242 global_step=757584, episodic_return=-69.31573486328125 global_step=757600, episodic_return=-58.586883544921875 global_step=757888, episodic_return=-5.041435241699219 global_step=757920, episodic_return=17.42357635498047 global_step=757936, episodic_return=-61.86045455932617 global_step=758128, episodic_return=-93.41996002197266 global_step=758208, episodic_return=-31.402252197265625 global_step=758480, episodic_return=-94.11092376708984 global_step=758640, episodic_return=-81.84418487548828 global_step=759152, episodic_return=-45.21236801147461 global_step=759168, episodic_return=-164.20065307617188 global_step=759616, episodic_return=-63.379127502441406 global_step=759664, episodic_return=-2.1539535522460938 global_step=759696, episodic_return=-30.829063415527344 global_step=759808, episodic_return=-0.42520904541015625 global_step=759920, episodic_return=8.595893859863281 global_step=759952, episodic_return=-13.893440246582031 global_step=760032, episodic_return=-154.7874298095703 global_step=760288, episodic_return=-96.06480407714844 global_step=760480, episodic_return=-47.326515197753906 global_step=760688, episodic_return=-51.81562042236328 global_step=760912, episodic_return=46.12539291381836 global_step=761472, episodic_return=-178.2271728515625 global_step=761488, episodic_return=-55.247283935546875 global_step=761536, episodic_return=-97.16632080078125 global_step=761664, episodic_return=-0.57989501953125 global_step=761680, episodic_return=-148.85415649414062 global_step=761824, episodic_return=-20.793556213378906 SPS: 2751 global_step=761920, episodic_return=-57.94643020629883 global_step=762000, episodic_return=-1.4059219360351562 global_step=762128, episodic_return=-57.72835159301758 global_step=762544, episodic_return=-61.7272834777832 global_step=762880, episodic_return=-37.91606140136719 global_step=762944, episodic_return=-18.02666473388672 global_step=763120, episodic_return=-16.005950927734375 global_step=763216, episodic_return=4.3387603759765625 global_step=763536, episodic_return=-20.113014221191406 global_step=763552, episodic_return=-54.72038269042969 global_step=763840, episodic_return=-10.447097778320312 global_step=763968, episodic_return=-38.22376251220703 global_step=764016, episodic_return=-39.317657470703125 global_step=764240, episodic_return=-54.84142303466797 global_step=764272, episodic_return=45.843727111816406 global_step=764432, episodic_return=-1.7891998291015625 global_step=764464, episodic_return=-60.275142669677734 global_step=764528, episodic_return=13.429061889648438 global_step=764672, episodic_return=-60.0919303894043 global_step=764736, episodic_return=-40.01991271972656 global_step=764944, episodic_return=-38.22800064086914 global_step=765008, episodic_return=-21.520645141601562 global_step=765184, episodic_return=-33.522430419921875 global_step=765216, episodic_return=-6.396110534667969 global_step=765312, episodic_return=-57.865360260009766 global_step=765856, episodic_return=-70.95275115966797 global_step=766096, episodic_return=-1.4482879638671875 global_step=766176, episodic_return=-41.3382682800293 global_step=766272, episodic_return=-29.29974365234375 global_step=766288, episodic_return=-194.36239624023438 global_step=766464, episodic_return=-69.8271713256836 global_step=766560, episodic_return=-30.556716918945312 global_step=766608, episodic_return=-42.39901351928711 global_step=766720, episodic_return=-46.73763656616211 global_step=766784, episodic_return=-18.01543426513672 global_step=766960, episodic_return=-126.90043640136719 global_step=767008, episodic_return=8.507110595703125 global_step=767168, episodic_return=4.7243499755859375 global_step=767264, episodic_return=-4.1010284423828125 global_step=767824, episodic_return=-78.16735076904297 global_step=768320, episodic_return=-14.322196960449219 global_step=768336, episodic_return=-126.15966796875 global_step=768368, episodic_return=-38.671913146972656 global_step=768384, episodic_return=8.568618774414062 global_step=768400, episodic_return=-63.0884895324707 global_step=768560, episodic_return=-75.50147247314453 global_step=768864, episodic_return=-138.6673126220703 global_step=769152, episodic_return=-18.730491638183594 global_step=769168, episodic_return=-9.745323181152344 global_step=769280, episodic_return=10.071220397949219 global_step=769520, episodic_return=-13.159950256347656 global_step=769568, episodic_return=-9.763816833496094 global_step=769952, episodic_return=-158.2603302001953 SPS: 2750 global_step=770160, episodic_return=-15.521316528320312 global_step=770240, episodic_return=-67.69391632080078 global_step=770304, episodic_return=-178.75930786132812 global_step=770624, episodic_return=-55.48698043823242 global_step=770912, episodic_return=-57.96272277832031 global_step=771216, episodic_return=-12.717994689941406 global_step=771360, episodic_return=-26.702499389648438 global_step=771456, episodic_return=-78.7171401977539 global_step=771520, episodic_return=-69.93536376953125 global_step=771536, episodic_return=-66.630859375 global_step=771664, episodic_return=-91.26288604736328 global_step=771808, episodic_return=-57.02663803100586 global_step=772144, episodic_return=-165.1790771484375 global_step=772240, episodic_return=-87.14107513427734 global_step=772256, episodic_return=-77.69134521484375 global_step=772272, episodic_return=-105.51468658447266 global_step=772592, episodic_return=-16.448524475097656 global_step=772640, episodic_return=-139.55628967285156 global_step=772848, episodic_return=-73.578857421875 global_step=773168, episodic_return=-24.723121643066406 global_step=773216, episodic_return=-40.40064239501953 global_step=773744, episodic_return=-84.72130584716797 global_step=773824, episodic_return=-97.9324722290039 global_step=773856, episodic_return=3.8889846801757812 global_step=774192, episodic_return=-67.5303726196289 global_step=774432, episodic_return=-64.81071472167969 global_step=774496, episodic_return=-42.143131256103516 global_step=774528, episodic_return=-40.496665954589844 global_step=774560, episodic_return=-113.42455291748047 global_step=775056, episodic_return=-25.647865295410156 global_step=775104, episodic_return=-52.743900299072266 global_step=775296, episodic_return=-125.28225708007812 global_step=775536, episodic_return=-144.00804138183594 global_step=775584, episodic_return=-34.13158416748047 global_step=776224, episodic_return=-64.33821105957031 global_step=776240, episodic_return=-122.47207641601562 global_step=776496, episodic_return=-29.985252380371094 global_step=776656, episodic_return=-116.04792022705078 global_step=776688, episodic_return=-63.03031539916992 global_step=776960, episodic_return=-43.051109313964844 global_step=777072, episodic_return=-15.920928955078125 global_step=777136, episodic_return=-65.28857421875 global_step=777520, episodic_return=-170.19464111328125 global_step=777536, episodic_return=-210.86428833007812 global_step=777568, episodic_return=-132.2854766845703 global_step=777680, episodic_return=-10.612297058105469 global_step=777760, episodic_return=-77.31723022460938 global_step=777952, episodic_return=-24.48767852783203 global_step=778048, episodic_return=-13.152763366699219 global_step=778192, episodic_return=-26.154922485351562 SPS: 2739 global_step=778656, episodic_return=-67.34913635253906 global_step=778704, episodic_return=-23.75537872314453 global_step=779104, episodic_return=-46.78492736816406 global_step=779168, episodic_return=-45.27543258666992 global_step=779376, episodic_return=-21.665664672851562 global_step=779424, episodic_return=-36.23935317993164 global_step=779696, episodic_return=-79.81025695800781 global_step=779840, episodic_return=-5.9012603759765625 global_step=780192, episodic_return=-42.557552337646484 global_step=780384, episodic_return=-63.63969421386719 global_step=780464, episodic_return=-94.00455474853516 global_step=780720, episodic_return=55.61920166015625 global_step=780912, episodic_return=-3.5143508911132812 global_step=781264, episodic_return=-4.609771728515625 global_step=781456, episodic_return=-78.49398040771484 global_step=781488, episodic_return=-56.407100677490234 global_step=781728, episodic_return=-178.87701416015625 global_step=781888, episodic_return=-208.10256958007812 global_step=781904, episodic_return=5.81884765625 global_step=782272, episodic_return=27.064922332763672 global_step=782512, episodic_return=-25.936996459960938 global_step=782592, episodic_return=-69.93830871582031 global_step=782752, episodic_return=-47.27271270751953 global_step=782928, episodic_return=-169.305419921875 global_step=782992, episodic_return=-95.07917022705078 global_step=783024, episodic_return=-9.177230834960938 global_step=783072, episodic_return=-43.75322341918945 global_step=783120, episodic_return=-48.46388626098633 global_step=783664, episodic_return=-78.56875610351562 global_step=784144, episodic_return=-109.87732696533203 global_step=784400, episodic_return=-79.350341796875 global_step=784528, episodic_return=-56.17901611328125 global_step=784640, episodic_return=2.56292724609375 global_step=784752, episodic_return=-7.771446228027344 global_step=784784, episodic_return=-65.6384048461914 global_step=784800, episodic_return=-55.77503204345703 global_step=784896, episodic_return=-35.479270935058594 global_step=785024, episodic_return=-53.9654541015625 global_step=785104, episodic_return=-80.72479248046875 global_step=785360, episodic_return=-116.36418914794922 global_step=785440, episodic_return=-72.4238052368164 global_step=785904, episodic_return=-54.772029876708984 global_step=786064, episodic_return=-43.894466400146484 global_step=786144, episodic_return=-88.55021667480469 global_step=786352, episodic_return=-117.89445495605469 SPS: 2726 global_step=786704, episodic_return=-101.97405242919922 global_step=786928, episodic_return=0.6407470703125 global_step=786944, episodic_return=-29.65300750732422 global_step=786960, episodic_return=-101.69327545166016 global_step=787008, episodic_return=-25.338768005371094 global_step=787072, episodic_return=-34.745643615722656 global_step=787360, episodic_return=-59.75786590576172 global_step=787520, episodic_return=12.852930068969727 global_step=787600, episodic_return=-2.0322265625 global_step=787680, episodic_return=-42.59244155883789 global_step=787792, episodic_return=-71.9407730102539 global_step=788176, episodic_return=-76.27339935302734 global_step=788272, episodic_return=-39.37892532348633 global_step=788832, episodic_return=-104.8855209350586 global_step=788864, episodic_return=19.177413940429688 global_step=788928, episodic_return=-46.908077239990234 global_step=789008, episodic_return=-76.9407958984375 global_step=789312, episodic_return=-107.5617446899414 global_step=789424, episodic_return=-37.76015853881836 global_step=789456, episodic_return=-10.016311645507812 global_step=789552, episodic_return=-3.3087692260742188 global_step=789792, episodic_return=-96.23792266845703 global_step=789824, episodic_return=-98.3923110961914 global_step=790064, episodic_return=-18.02379608154297 global_step=790784, episodic_return=-143.8696746826172 global_step=790800, episodic_return=-21.75196075439453 global_step=790848, episodic_return=-101.74027252197266 global_step=791056, episodic_return=-80.40098571777344 global_step=791392, episodic_return=-139.5533905029297 global_step=791680, episodic_return=-67.30642700195312 global_step=791696, episodic_return=-58.66643142700195 global_step=791744, episodic_return=-194.38841247558594 global_step=791888, episodic_return=-87.31710052490234 global_step=792176, episodic_return=-71.88121032714844 global_step=792368, episodic_return=-0.09716033935546875 global_step=792496, episodic_return=-173.01593017578125 global_step=792608, episodic_return=-46.01945114135742 global_step=792640, episodic_return=-85.97314453125 global_step=793136, episodic_return=-55.98670959472656 global_step=793360, episodic_return=-37.53859329223633 global_step=793744, episodic_return=-40.50473403930664 global_step=793824, episodic_return=-50.31573486328125 global_step=794048, episodic_return=-27.810585021972656 global_step=794320, episodic_return=-14.888137817382812 global_step=794352, episodic_return=-45.611122131347656 global_step=794624, episodic_return=-54.96723556518555 SPS: 2716 global_step=794704, episodic_return=-80.46839904785156 global_step=794736, episodic_return=-160.80990600585938 global_step=794912, episodic_return=-58.95603561401367 global_step=795040, episodic_return=-173.77117919921875 global_step=795456, episodic_return=-39.8715705871582 global_step=795888, episodic_return=-65.32520294189453 global_step=796032, episodic_return=-35.93858337402344 global_step=796048, episodic_return=-71.62794494628906 global_step=796208, episodic_return=-52.68590545654297 global_step=796496, episodic_return=-36.95905303955078 global_step=797008, episodic_return=-86.3445053100586 global_step=797056, episodic_return=-121.35858917236328 global_step=797216, episodic_return=-127.64764404296875 global_step=797312, episodic_return=-67.18223571777344 global_step=797344, episodic_return=-26.64891815185547 global_step=797408, episodic_return=-233.53565979003906 global_step=797424, episodic_return=-92.80024719238281 global_step=797504, episodic_return=-44.25715637207031 global_step=797920, episodic_return=-15.094886779785156 global_step=798688, episodic_return=-253.0648193359375 global_step=798912, episodic_return=-116.53273010253906 global_step=799024, episodic_return=-61.926536560058594 global_step=799088, episodic_return=-72.24462890625 global_step=799136, episodic_return=-89.88455963134766 global_step=799200, episodic_return=-69.16535949707031 global_step=799328, episodic_return=-219.29238891601562 global_step=799344, episodic_return=-109.94718170166016 global_step=799360, episodic_return=-132.3649139404297 global_step=799440, episodic_return=-85.1154556274414 global_step=799600, episodic_return=-61.33137893676758 global_step=799712, episodic_return=-29.863868713378906 global_step=800144, episodic_return=8.989768981933594 global_step=800768, episodic_return=-65.19831848144531 global_step=801248, episodic_return=-68.75083923339844 global_step=801344, episodic_return=-156.04904174804688 global_step=801568, episodic_return=-36.18963623046875 global_step=801696, episodic_return=-56.51713943481445 global_step=801920, episodic_return=-240.97067260742188 global_step=802032, episodic_return=1.51593017578125 global_step=802048, episodic_return=-77.60528564453125 global_step=802080, episodic_return=-25.344528198242188 global_step=802304, episodic_return=25.063690185546875 global_step=802576, episodic_return=6.580390930175781 SPS: 2695 global_step=802944, episodic_return=14.706642150878906 global_step=803024, episodic_return=-96.61041259765625 global_step=803072, episodic_return=33.918540954589844 global_step=803504, episodic_return=-294.8660583496094 global_step=803600, episodic_return=45.13665008544922 global_step=803776, episodic_return=-31.870758056640625 global_step=803856, episodic_return=-49.26728820800781 global_step=804000, episodic_return=26.15069580078125 global_step=804144, episodic_return=-106.07438659667969 global_step=804224, episodic_return=-31.025840759277344 global_step=804272, episodic_return=-44.47967529296875 global_step=804576, episodic_return=-10.208274841308594 global_step=804688, episodic_return=-65.73001098632812 global_step=805072, episodic_return=-21.20940399169922 global_step=805664, episodic_return=-46.088844299316406 global_step=805712, episodic_return=-143.7363739013672 global_step=805856, episodic_return=-36.025272369384766 global_step=806112, episodic_return=-55.96916961669922 global_step=806144, episodic_return=-56.57312774658203 global_step=806288, episodic_return=-188.4744873046875 global_step=806368, episodic_return=-108.635986328125 global_step=806416, episodic_return=-83.05674743652344 global_step=806848, episodic_return=-86.63758087158203 global_step=806992, episodic_return=-19.751609802246094 global_step=807344, episodic_return=-107.95467376708984 global_step=807392, episodic_return=31.5988826751709 global_step=807424, episodic_return=-182.8607635498047 global_step=807472, episodic_return=-118.89091491699219 global_step=807536, episodic_return=-39.26192855834961 global_step=807552, episodic_return=-12.809043884277344 global_step=807616, episodic_return=-73.72929382324219 global_step=807984, episodic_return=-51.07278823852539 global_step=808192, episodic_return=11.279304504394531 global_step=808336, episodic_return=-90.5468978881836 global_step=808544, episodic_return=-147.01815795898438 global_step=808640, episodic_return=-60.4744987487793 global_step=809104, episodic_return=38.45869445800781 global_step=809232, episodic_return=-41.749874114990234 global_step=809264, episodic_return=-41.571449279785156 global_step=809408, episodic_return=-23.25152587890625 global_step=809440, episodic_return=35.512481689453125 global_step=809664, episodic_return=-25.049827575683594 global_step=809744, episodic_return=-40.58631896972656 global_step=809888, episodic_return=-55.41402816772461 global_step=810128, episodic_return=28.232009887695312 global_step=810144, episodic_return=-53.9466438293457 global_step=810192, episodic_return=-73.21461486816406 global_step=810560, episodic_return=-38.464534759521484 global_step=810784, episodic_return=-58.90718078613281 global_step=810816, episodic_return=-28.854339599609375 global_step=810896, episodic_return=-170.1510009765625 global_step=810912, episodic_return=-18.7684326171875 global_step=810928, episodic_return=-32.543174743652344 SPS: 2688 global_step=811168, episodic_return=-8.031288146972656 global_step=811728, episodic_return=-40.8165397644043 global_step=812192, episodic_return=-166.6822967529297 global_step=812208, episodic_return=-106.8536376953125 global_step=812336, episodic_return=-116.65382385253906 global_step=812400, episodic_return=-57.66845703125 global_step=812576, episodic_return=-48.38751220703125 global_step=812784, episodic_return=-169.57981872558594 global_step=812976, episodic_return=-36.86138916015625 global_step=813088, episodic_return=-122.12469482421875 global_step=813408, episodic_return=-46.846317291259766 global_step=813424, episodic_return=-109.37359619140625 global_step=813632, episodic_return=11.910957336425781 global_step=813872, episodic_return=-19.521224975585938 global_step=813936, episodic_return=-95.21501159667969 global_step=814176, episodic_return=39.812652587890625 global_step=814288, episodic_return=1.76861572265625 global_step=814640, episodic_return=-48.04520797729492 global_step=814656, episodic_return=-25.955886840820312 global_step=815136, episodic_return=-17.56867218017578 global_step=815360, episodic_return=-41.448734283447266 global_step=815392, episodic_return=-90.38935852050781 global_step=815488, episodic_return=-81.96370697021484 global_step=815904, episodic_return=-78.28854370117188 global_step=816304, episodic_return=-76.6147689819336 global_step=816416, episodic_return=-6.7619781494140625 global_step=816432, episodic_return=-79.9085922241211 global_step=816608, episodic_return=-116.8417739868164 global_step=816656, episodic_return=-99.68191528320312 global_step=816944, episodic_return=-87.61976623535156 global_step=817264, episodic_return=-18.755455017089844 global_step=817344, episodic_return=-41.442962646484375 global_step=817856, episodic_return=6.89666748046875 global_step=818144, episodic_return=-105.0807113647461 global_step=818224, episodic_return=-110.36579132080078 global_step=818560, episodic_return=-9.070388793945312 global_step=818656, episodic_return=-161.5493621826172 global_step=818672, episodic_return=-96.64373016357422 global_step=818944, episodic_return=55.27412033081055 SPS: 2679 global_step=819280, episodic_return=-93.89209747314453 global_step=819456, episodic_return=-73.79481506347656 global_step=819616, episodic_return=11.912391662597656 global_step=819648, episodic_return=-21.541900634765625 global_step=819776, episodic_return=-22.600135803222656 global_step=819888, episodic_return=-66.36750030517578 global_step=820016, episodic_return=13.650543212890625 global_step=820096, episodic_return=-57.40391540527344 global_step=820640, episodic_return=-150.13150024414062 global_step=820832, episodic_return=15.621444702148438 global_step=821056, episodic_return=-115.95679473876953 global_step=821184, episodic_return=-41.52997589111328 global_step=821248, episodic_return=-57.84810256958008 global_step=821792, episodic_return=-50.617462158203125 global_step=821952, episodic_return=-31.17717742919922 global_step=822096, episodic_return=-59.49658966064453 global_step=822112, episodic_return=-54.456077575683594 global_step=822240, episodic_return=-231.4840850830078 global_step=822320, episodic_return=-86.9115219116211 global_step=822384, episodic_return=-68.4626235961914 global_step=822448, episodic_return=-11.20977783203125 global_step=822704, episodic_return=-53.5840950012207 global_step=822832, episodic_return=-68.00007629394531 global_step=822848, episodic_return=-206.61517333984375 global_step=823296, episodic_return=-22.50519561767578 global_step=823328, episodic_return=-77.70707702636719 global_step=823360, episodic_return=-155.4168701171875 global_step=823488, episodic_return=-67.90849304199219 global_step=823904, episodic_return=-74.63294982910156 global_step=824416, episodic_return=-37.71481704711914 global_step=824464, episodic_return=-41.677669525146484 global_step=824624, episodic_return=-56.120296478271484 global_step=824752, episodic_return=-27.55518341064453 global_step=825264, episodic_return=-69.82329559326172 global_step=825392, episodic_return=-55.528934478759766 global_step=825440, episodic_return=29.959671020507812 global_step=825456, episodic_return=30.142822265625 global_step=825744, episodic_return=-100.99848175048828 global_step=825920, episodic_return=2.087677001953125 global_step=826064, episodic_return=-142.95814514160156 global_step=826512, episodic_return=-48.53095245361328 global_step=826544, episodic_return=-22.819541931152344 global_step=826608, episodic_return=35.55738830566406 global_step=827056, episodic_return=-13.122230529785156 global_step=827232, episodic_return=-48.9000358581543 global_step=827280, episodic_return=-2.374542236328125 SPS: 2667 global_step=827440, episodic_return=-70.43074798583984 global_step=827584, episodic_return=-25.372802734375 global_step=827760, episodic_return=-70.09532165527344 global_step=827984, episodic_return=-26.06365203857422 global_step=828048, episodic_return=-94.9618148803711 global_step=828400, episodic_return=-30.0433349609375 global_step=828848, episodic_return=-23.550979614257812 global_step=829056, episodic_return=-186.94552612304688 global_step=829136, episodic_return=-33.41316223144531 global_step=829392, episodic_return=-75.58255004882812 global_step=829680, episodic_return=-92.60267639160156 global_step=829824, episodic_return=-220.15048217773438 global_step=829968, episodic_return=-63.896873474121094 global_step=830080, episodic_return=-66.85362243652344 global_step=830128, episodic_return=-8.345283508300781 global_step=830336, episodic_return=-191.14822387695312 global_step=830752, episodic_return=-66.47091674804688 global_step=830944, episodic_return=-41.17256546020508 global_step=831152, episodic_return=12.612030029296875 global_step=831360, episodic_return=5.165960311889648 global_step=831408, episodic_return=-72.09754943847656 global_step=831936, episodic_return=-31.032005310058594 global_step=831984, episodic_return=-83.84161376953125 global_step=832112, episodic_return=-48.1156005859375 global_step=832128, episodic_return=-24.605804443359375 global_step=832432, episodic_return=34.7188720703125 global_step=832720, episodic_return=-95.0491943359375 global_step=832784, episodic_return=-85.883056640625 global_step=833072, episodic_return=-174.3025665283203 global_step=833120, episodic_return=-7.50054931640625 global_step=833248, episodic_return=-26.767929077148438 global_step=833312, episodic_return=-7.2197113037109375 global_step=833392, episodic_return=-73.9931869506836 global_step=833888, episodic_return=-37.74876022338867 global_step=833952, episodic_return=-33.56755065917969 global_step=834080, episodic_return=-82.24349212646484 global_step=834096, episodic_return=-236.13026428222656 global_step=834176, episodic_return=-7.008827209472656 global_step=834368, episodic_return=-18.332168579101562 global_step=834480, episodic_return=-26.888961791992188 global_step=834544, episodic_return=17.677047729492188 global_step=834672, episodic_return=-176.65798950195312 global_step=834864, episodic_return=-75.13459777832031 global_step=835024, episodic_return=-24.790489196777344 SPS: 2655 global_step=836208, episodic_return=-76.9571533203125 global_step=836224, episodic_return=22.938087463378906 global_step=836256, episodic_return=-10.366165161132812 global_step=836304, episodic_return=-144.03875732421875 global_step=836496, episodic_return=-39.21320343017578 global_step=836640, episodic_return=66.56707000732422 global_step=836672, episodic_return=-4.837860107421875 global_step=836784, episodic_return=7.396026611328125 global_step=836816, episodic_return=-22.350051879882812 global_step=836880, episodic_return=-47.3709602355957 global_step=836960, episodic_return=-176.6905059814453 global_step=837168, episodic_return=-134.17230224609375 global_step=837584, episodic_return=-7.7413330078125 global_step=837984, episodic_return=-56.78019332885742 global_step=838016, episodic_return=-57.02927780151367 global_step=838304, episodic_return=-59.55451202392578 global_step=838368, episodic_return=-67.39696502685547 global_step=838448, episodic_return=-137.549072265625 global_step=838576, episodic_return=-74.70539093017578 global_step=838640, episodic_return=-37.947227478027344 global_step=839056, episodic_return=-101.20989227294922 global_step=839328, episodic_return=-55.20711135864258 global_step=839376, episodic_return=-52.854427337646484 global_step=839776, episodic_return=-331.90826416015625 global_step=839792, episodic_return=-34.41606140136719 global_step=839904, episodic_return=-31.88770294189453 global_step=840272, episodic_return=-37.61030578613281 global_step=840288, episodic_return=-130.01519775390625 global_step=840368, episodic_return=-221.22860717773438 global_step=840480, episodic_return=3.497283935546875 global_step=840608, episodic_return=-40.135196685791016 global_step=840704, episodic_return=-31.40282440185547 global_step=840848, episodic_return=-119.02890014648438 global_step=840864, episodic_return=-3.4227981567382812 global_step=841088, episodic_return=-68.478515625 global_step=841840, episodic_return=-28.389488220214844 global_step=842000, episodic_return=-27.912002563476562 global_step=842048, episodic_return=-2.453399658203125 global_step=842080, episodic_return=-113.5845718383789 global_step=842336, episodic_return=-49.04304885864258 global_step=842432, episodic_return=-75.0380859375 global_step=842544, episodic_return=-26.850303649902344 global_step=842576, episodic_return=-8.891639709472656 global_step=842768, episodic_return=-55.495872497558594 global_step=842832, episodic_return=-49.496402740478516 global_step=843008, episodic_return=-11.576248168945312 global_step=843072, episodic_return=-12.440345764160156 global_step=843376, episodic_return=-37.89475631713867 global_step=843520, episodic_return=-32.708702087402344 SPS: 2651 global_step=843824, episodic_return=16.698692321777344 global_step=843984, episodic_return=-21.52032470703125 global_step=844064, episodic_return=-17.86871337890625 global_step=844192, episodic_return=-22.826065063476562 global_step=844224, episodic_return=-37.83086013793945 global_step=844688, episodic_return=-37.05701446533203 global_step=844960, episodic_return=-21.86023712158203 global_step=845008, episodic_return=-130.27401733398438 global_step=845072, episodic_return=-70.36985778808594 global_step=845104, episodic_return=-24.216049194335938 global_step=845456, episodic_return=-0.35105133056640625 global_step=845472, episodic_return=-38.669219970703125 global_step=845936, episodic_return=-64.04347229003906 global_step=846064, episodic_return=-118.36129760742188 global_step=846080, episodic_return=-59.45634078979492 global_step=846272, episodic_return=-49.753021240234375 global_step=846448, episodic_return=-42.30561065673828 global_step=846688, episodic_return=-2.7739105224609375 global_step=846800, episodic_return=-63.210411071777344 global_step=846880, episodic_return=-5.2616424560546875 global_step=846912, episodic_return=-9.889015197753906 global_step=847392, episodic_return=-16.92675018310547 global_step=847520, episodic_return=-110.22315979003906 global_step=847680, episodic_return=-87.84092712402344 global_step=848016, episodic_return=-58.95862579345703 global_step=848496, episodic_return=9.254676818847656 global_step=848864, episodic_return=-44.29762649536133 global_step=848960, episodic_return=-98.7940444946289 global_step=848992, episodic_return=-69.50468444824219 global_step=849136, episodic_return=-73.5152359008789 global_step=849232, episodic_return=-39.918663024902344 global_step=849264, episodic_return=-66.95394897460938 global_step=849456, episodic_return=-71.10028076171875 global_step=849664, episodic_return=-328.9823913574219 global_step=849712, episodic_return=-51.350223541259766 global_step=849824, episodic_return=-27.674575805664062 global_step=849872, episodic_return=-23.85095977783203 global_step=850080, episodic_return=-29.64118194580078 global_step=850288, episodic_return=-24.1668701171875 global_step=850336, episodic_return=1.133026123046875 global_step=850384, episodic_return=-24.38977813720703 global_step=850528, episodic_return=-72.90382385253906 global_step=850832, episodic_return=-103.47390747070312 global_step=851040, episodic_return=-17.149818420410156 global_step=851472, episodic_return=-36.82235336303711 global_step=851536, episodic_return=-192.92263793945312 global_step=851552, episodic_return=-40.943363189697266 global_step=851600, episodic_return=-77.15374755859375 global_step=851776, episodic_return=-241.14561462402344 global_step=851792, episodic_return=-47.5882682800293 global_step=851904, episodic_return=-26.0694580078125 global_step=851936, episodic_return=-26.615089416503906 SPS: 2649 global_step=852560, episodic_return=-26.128097534179688 global_step=852864, episodic_return=-69.71379852294922 global_step=853088, episodic_return=-27.891555786132812 global_step=853104, episodic_return=-81.96415710449219 global_step=853248, episodic_return=-20.93181610107422 global_step=853328, episodic_return=-15.037307739257812 global_step=853712, episodic_return=-92.60725402832031 global_step=853792, episodic_return=-65.85551452636719 global_step=853808, episodic_return=-25.441123962402344 global_step=853824, episodic_return=-38.3883171081543 global_step=854384, episodic_return=-66.54865264892578 global_step=854688, episodic_return=2.9671707153320312 global_step=854704, episodic_return=30.691497802734375 global_step=854800, episodic_return=-18.75476837158203 global_step=854832, episodic_return=-102.32957458496094 global_step=854864, episodic_return=-41.58473205566406 global_step=855232, episodic_return=18.160316467285156 global_step=855264, episodic_return=-142.52505493164062 global_step=855312, episodic_return=-70.69988250732422 global_step=855408, episodic_return=-78.61868286132812 global_step=855424, episodic_return=-31.46283721923828 global_step=855664, episodic_return=-109.40738677978516 global_step=856208, episodic_return=-33.360801696777344 global_step=856480, episodic_return=-4.535179138183594 global_step=856528, episodic_return=-26.882652282714844 global_step=856576, episodic_return=-56.222991943359375 global_step=856800, episodic_return=-10.462821960449219 global_step=856864, episodic_return=-60.0549201965332 global_step=856880, episodic_return=-123.4352798461914 global_step=857168, episodic_return=-50.21491241455078 global_step=857296, episodic_return=-147.20123291015625 global_step=857424, episodic_return=-72.57356262207031 global_step=857584, episodic_return=-132.43930053710938 global_step=857824, episodic_return=-67.47743225097656 global_step=857904, episodic_return=-37.02605438232422 global_step=858048, episodic_return=-48.48236846923828 global_step=858416, episodic_return=-5.817054748535156 global_step=858592, episodic_return=-37.838775634765625 global_step=858736, episodic_return=-43.67854309082031 global_step=858848, episodic_return=-44.90666198730469 global_step=859008, episodic_return=-182.09849548339844 global_step=859232, episodic_return=-167.05386352539062 global_step=859424, episodic_return=-23.75066375732422 global_step=859456, episodic_return=-35.06916809082031 global_step=859616, episodic_return=-45.50684356689453 global_step=859728, episodic_return=-32.95524597167969 global_step=859888, episodic_return=-108.19121551513672 global_step=859984, episodic_return=-20.354393005371094 SPS: 2650 global_step=860272, episodic_return=-36.01767349243164 global_step=860432, episodic_return=-1.096160888671875 global_step=860448, episodic_return=-187.25799560546875 global_step=860800, episodic_return=-78.12910461425781 global_step=860880, episodic_return=-39.10889434814453 global_step=861328, episodic_return=-45.12055969238281 global_step=861632, episodic_return=-65.94709014892578 global_step=861664, episodic_return=-52.52946853637695 global_step=861776, episodic_return=-51.87821578979492 global_step=862176, episodic_return=-53.957313537597656 global_step=862256, episodic_return=-48.67160415649414 global_step=862336, episodic_return=24.520111083984375 global_step=862480, episodic_return=-95.69527435302734 global_step=862592, episodic_return=-58.16460418701172 global_step=862816, episodic_return=-67.49474334716797 global_step=863008, episodic_return=-67.45339965820312 global_step=863088, episodic_return=-63.3883056640625 global_step=863328, episodic_return=19.67327117919922 global_step=863776, episodic_return=-213.26425170898438 global_step=863904, episodic_return=-94.67235565185547 global_step=863936, episodic_return=-160.0434112548828 global_step=864160, episodic_return=14.599197387695312 global_step=864240, episodic_return=-56.62002944946289 global_step=864512, episodic_return=-209.49761962890625 global_step=864576, episodic_return=-90.90315246582031 global_step=864672, episodic_return=-72.6177749633789 global_step=864768, episodic_return=-3.5273361206054688 global_step=864928, episodic_return=-25.158370971679688 global_step=865072, episodic_return=-6.362152099609375 global_step=865152, episodic_return=-18.965255737304688 global_step=865600, episodic_return=-96.3291244506836 global_step=865856, episodic_return=-3.1325149536132812 global_step=865952, episodic_return=-72.1788330078125 global_step=866128, episodic_return=-10.854804992675781 global_step=866288, episodic_return=-174.06454467773438 global_step=866368, episodic_return=-260.26739501953125 global_step=866544, episodic_return=14.157890319824219 global_step=866608, episodic_return=-83.88656616210938 global_step=866720, episodic_return=-48.351505279541016 global_step=867120, episodic_return=-60.076934814453125 global_step=867376, episodic_return=-16.934303283691406 global_step=867472, episodic_return=-11.607437133789062 global_step=867712, episodic_return=-86.71498107910156 global_step=867776, episodic_return=0.33051300048828125 global_step=867824, episodic_return=-32.866615295410156 global_step=867856, episodic_return=-30.16747283935547 global_step=867936, episodic_return=-20.69660186767578 SPS: 2652 global_step=868400, episodic_return=-147.6537628173828 global_step=868672, episodic_return=-135.12283325195312 global_step=868736, episodic_return=-251.4170684814453 global_step=869056, episodic_return=0.5505447387695312 global_step=869088, episodic_return=-98.21603393554688 global_step=869184, episodic_return=-57.58352279663086 global_step=869664, episodic_return=-91.91902160644531 global_step=869680, episodic_return=-68.38874816894531 global_step=869968, episodic_return=-28.770103454589844 global_step=870128, episodic_return=-56.72356033325195 global_step=870240, episodic_return=-6.0110626220703125 global_step=870288, episodic_return=-38.28928756713867 global_step=870560, episodic_return=-143.6562957763672 global_step=870640, episodic_return=-179.61984252929688 global_step=871120, episodic_return=7.762939453125 global_step=871184, episodic_return=-50.34291458129883 global_step=871264, episodic_return=-193.27932739257812 global_step=871280, episodic_return=-33.27302551269531 global_step=871376, episodic_return=-59.070884704589844 global_step=871424, episodic_return=-94.48001098632812 global_step=871504, episodic_return=-59.933231353759766 global_step=871600, episodic_return=-57.334678649902344 global_step=871888, episodic_return=-36.94174575805664 global_step=871904, episodic_return=-52.69858169555664 global_step=871952, episodic_return=-49.59530258178711 global_step=872048, episodic_return=-167.6656494140625 global_step=872128, episodic_return=-31.859947204589844 global_step=872192, episodic_return=-150.1470489501953 global_step=872560, episodic_return=-40.235713958740234 global_step=872816, episodic_return=-56.989646911621094 global_step=873008, episodic_return=-116.47698974609375 global_step=873072, episodic_return=-2.3033447265625 global_step=873088, episodic_return=7.540412902832031 global_step=873344, episodic_return=-38.073577880859375 global_step=873664, episodic_return=-5.0705413818359375 global_step=873728, episodic_return=-40.839412689208984 global_step=874080, episodic_return=-178.3558349609375 global_step=874384, episodic_return=-90.95987701416016 global_step=874928, episodic_return=-56.191078186035156 global_step=875216, episodic_return=-40.31989288330078 global_step=875280, episodic_return=-59.68123245239258 global_step=875456, episodic_return=23.22966766357422 global_step=875504, episodic_return=-65.22282409667969 global_step=875536, episodic_return=-0.23609161376953125 global_step=875584, episodic_return=-134.0037384033203 global_step=875664, episodic_return=-12.110664367675781 global_step=875952, episodic_return=-26.65467071533203 global_step=876496, episodic_return=-71.69615936279297 global_step=876544, episodic_return=-92.72529602050781 SPS: 2649 global_step=876784, episodic_return=27.065887451171875 global_step=876912, episodic_return=10.203948974609375 global_step=877008, episodic_return=-32.245140075683594 global_step=877248, episodic_return=-57.927467346191406 global_step=877392, episodic_return=1.737823486328125 global_step=877744, episodic_return=-60.10930252075195 global_step=877776, episodic_return=-67.512939453125 global_step=877856, episodic_return=-12.469459533691406 global_step=877952, episodic_return=-25.93279266357422 global_step=878144, episodic_return=-129.598388671875 global_step=878656, episodic_return=-21.928611755371094 global_step=878768, episodic_return=-252.6866912841797 global_step=878816, episodic_return=-43.387027740478516 global_step=879072, episodic_return=-1.98095703125 global_step=879184, episodic_return=-59.24736022949219 global_step=879744, episodic_return=-124.43939971923828 global_step=879760, episodic_return=-177.75155639648438 global_step=879904, episodic_return=-48.17191696166992 global_step=880160, episodic_return=-153.91006469726562 global_step=880256, episodic_return=2.8374404907226562 global_step=880272, episodic_return=-88.07549285888672 global_step=880992, episodic_return=-204.6356201171875 global_step=881056, episodic_return=-10.716888427734375 global_step=881344, episodic_return=4.8634796142578125 global_step=881360, episodic_return=12.982627868652344 global_step=881600, episodic_return=-47.98995590209961 global_step=881984, episodic_return=-83.7718734741211 global_step=882048, episodic_return=-88.83336639404297 global_step=882192, episodic_return=-2.4175338745117188 global_step=882272, episodic_return=-69.70146179199219 global_step=882352, episodic_return=-45.45859909057617 global_step=882544, episodic_return=-100.53617095947266 global_step=882592, episodic_return=-43.773338317871094 global_step=883040, episodic_return=-96.57862091064453 global_step=883232, episodic_return=-34.952850341796875 global_step=883360, episodic_return=40.475738525390625 global_step=883424, episodic_return=-66.1021499633789 global_step=883680, episodic_return=-29.816795349121094 global_step=883824, episodic_return=-23.132720947265625 global_step=884336, episodic_return=-24.795883178710938 global_step=884368, episodic_return=-48.728275299072266 global_step=884384, episodic_return=-110.78778839111328 SPS: 2645 global_step=884816, episodic_return=-66.3692626953125 global_step=884864, episodic_return=-17.55029296875 global_step=884976, episodic_return=-120.84072875976562 global_step=885520, episodic_return=-198.5491180419922 global_step=885536, episodic_return=-77.20301818847656 global_step=885584, episodic_return=-24.05113983154297 global_step=886064, episodic_return=-83.79401397705078 global_step=886320, episodic_return=-32.57514953613281 global_step=886432, episodic_return=-33.75575256347656 global_step=886464, episodic_return=-30.572067260742188 global_step=886656, episodic_return=-231.2008056640625 global_step=886752, episodic_return=-12.773712158203125 global_step=886816, episodic_return=-55.6805419921875 global_step=886864, episodic_return=-133.3910369873047 global_step=886960, episodic_return=-97.87245178222656 global_step=887472, episodic_return=-5.002632141113281 global_step=887616, episodic_return=3.6876068115234375 global_step=887744, episodic_return=-42.277244567871094 global_step=888128, episodic_return=38.346954345703125 global_step=888192, episodic_return=-55.114837646484375 global_step=888272, episodic_return=-84.40272521972656 global_step=888400, episodic_return=-150.5 global_step=888688, episodic_return=-12.666526794433594 global_step=888768, episodic_return=-44.00733184814453 global_step=888896, episodic_return=3.3323593139648438 global_step=888912, episodic_return=-182.909912109375 global_step=889152, episodic_return=-104.67206573486328 global_step=889344, episodic_return=-31.25543212890625 global_step=889392, episodic_return=6.4598388671875 global_step=889568, episodic_return=-40.072853088378906 global_step=890224, episodic_return=-67.98100280761719 global_step=890272, episodic_return=-194.339111328125 global_step=890432, episodic_return=-66.92860412597656 global_step=890512, episodic_return=-23.008438110351562 global_step=890688, episodic_return=-50.84105682373047 global_step=890752, episodic_return=-12.770462036132812 global_step=890832, episodic_return=-66.8069076538086 global_step=891072, episodic_return=-86.17790985107422 global_step=891376, episodic_return=7.616294860839844 global_step=891456, episodic_return=7.800427436828613 global_step=891536, episodic_return=46.77189636230469 global_step=891552, episodic_return=-67.5093994140625 global_step=891664, episodic_return=-51.06797409057617 global_step=891776, episodic_return=-66.67904663085938 global_step=892064, episodic_return=-31.047943115234375 global_step=892240, episodic_return=-3.2602386474609375 global_step=892496, episodic_return=-33.54869842529297 global_step=892896, episodic_return=27.675491333007812 global_step=892912, episodic_return=-91.944580078125 SPS: 2642 global_step=892976, episodic_return=-10.457649230957031 global_step=893264, episodic_return=-8.801658630371094 global_step=893472, episodic_return=-52.56371307373047 global_step=893536, episodic_return=-64.49845886230469 global_step=893632, episodic_return=-26.193756103515625 global_step=893696, episodic_return=-25.77996063232422 global_step=893824, episodic_return=-22.156272888183594 global_step=894192, episodic_return=10.311454772949219 global_step=894208, episodic_return=-72.41680145263672 global_step=894592, episodic_return=-62.155975341796875 global_step=894624, episodic_return=-56.85666275024414 global_step=894768, episodic_return=-27.87230682373047 global_step=894848, episodic_return=-35.46349334716797 global_step=894864, episodic_return=-54.20497131347656 global_step=894896, episodic_return=-45.1206169128418 global_step=895296, episodic_return=-136.34942626953125 global_step=895408, episodic_return=-48.44050216674805 global_step=895520, episodic_return=4.509544372558594 global_step=895552, episodic_return=-24.290428161621094 global_step=896048, episodic_return=-18.22289276123047 global_step=896128, episodic_return=-40.22264862060547 global_step=896224, episodic_return=-41.66260528564453 global_step=896384, episodic_return=-48.07724380493164 global_step=896992, episodic_return=-27.011619567871094 global_step=897376, episodic_return=12.704246520996094 global_step=897616, episodic_return=-43.20323944091797 global_step=897792, episodic_return=-50.78525924682617 global_step=897824, episodic_return=-227.97579956054688 global_step=897936, episodic_return=-23.304481506347656 global_step=898064, episodic_return=-53.77379608154297 global_step=898112, episodic_return=-60.66362380981445 global_step=898416, episodic_return=-122.78303527832031 global_step=898480, episodic_return=-82.01792907714844 global_step=898624, episodic_return=-21.316749572753906 global_step=898912, episodic_return=-307.48345947265625 global_step=899120, episodic_return=-120.41004943847656 global_step=899280, episodic_return=-42.12209701538086 global_step=899408, episodic_return=-46.86766052246094 global_step=900240, episodic_return=-61.700164794921875 global_step=900352, episodic_return=-76.3612289428711 global_step=900400, episodic_return=-148.9444580078125 global_step=900464, episodic_return=-59.48420715332031 global_step=900480, episodic_return=-59.28286361694336 global_step=900496, episodic_return=-34.221275329589844 global_step=900544, episodic_return=-111.04796600341797 global_step=900704, episodic_return=-69.82378387451172 global_step=901088, episodic_return=-71.07998657226562 SPS: 2644 global_step=901216, episodic_return=-163.76148986816406 global_step=901248, episodic_return=-26.677642822265625 global_step=901456, episodic_return=-57.736671447753906 global_step=901520, episodic_return=-136.507080078125 global_step=902048, episodic_return=-3.2034225463867188 global_step=902096, episodic_return=-105.78631591796875 global_step=902160, episodic_return=-4.97027587890625 global_step=902384, episodic_return=-131.70863342285156 global_step=902448, episodic_return=-41.5981559753418 global_step=902832, episodic_return=2.5918655395507812 global_step=902848, episodic_return=3.9350204467773438 global_step=902896, episodic_return=-57.44179153442383 global_step=903168, episodic_return=49.6279296875 global_step=903216, episodic_return=-21.522171020507812 global_step=903248, episodic_return=-15.863204956054688 global_step=903712, episodic_return=-86.01017761230469 global_step=903728, episodic_return=-54.00046157836914 global_step=903808, episodic_return=-101.74714660644531 global_step=903952, episodic_return=-103.82268524169922 global_step=904272, episodic_return=15.529373168945312 global_step=904784, episodic_return=-70.16747283935547 global_step=904848, episodic_return=13.796455383300781 global_step=904912, episodic_return=-26.04401397705078 global_step=905008, episodic_return=7.5072479248046875 global_step=905024, episodic_return=-81.11115264892578 global_step=905264, episodic_return=-41.06096649169922 global_step=905520, episodic_return=-29.08190155029297 global_step=905696, episodic_return=-9.147201538085938 global_step=905728, episodic_return=-81.97972869873047 global_step=905776, episodic_return=6.592735290527344 global_step=905904, episodic_return=-78.66822052001953 global_step=906080, episodic_return=-28.684104919433594 global_step=906144, episodic_return=22.40058135986328 global_step=906304, episodic_return=-11.762969970703125 global_step=906688, episodic_return=-55.909690856933594 global_step=906976, episodic_return=-64.7498779296875 global_step=907456, episodic_return=-146.8627471923828 global_step=907488, episodic_return=-218.23622131347656 global_step=907568, episodic_return=-70.59191131591797 global_step=907584, episodic_return=-96.13453674316406 global_step=907648, episodic_return=-80.505859375 global_step=907744, episodic_return=6.723655700683594 global_step=907840, episodic_return=19.13001251220703 global_step=907888, episodic_return=-72.82278442382812 global_step=908032, episodic_return=-1.1185989379882812 global_step=908048, episodic_return=-9.418357849121094 global_step=908112, episodic_return=-194.05426025390625 global_step=909232, episodic_return=-26.18182373046875 SPS: 2637 global_step=909376, episodic_return=-104.70912170410156 global_step=909456, episodic_return=-34.137840270996094 global_step=909568, episodic_return=-65.00480651855469 global_step=909584, episodic_return=-146.92771911621094 global_step=909696, episodic_return=39.13893127441406 global_step=909888, episodic_return=-104.51173400878906 global_step=909904, episodic_return=26.426734924316406 global_step=910224, episodic_return=-194.64544677734375 global_step=910272, episodic_return=14.135047912597656 global_step=910608, episodic_return=-14.297966003417969 global_step=910848, episodic_return=-28.894020080566406 global_step=911088, episodic_return=-6.294708251953125 global_step=911104, episodic_return=-87.16986083984375 global_step=911280, episodic_return=-195.47235107421875 global_step=911360, episodic_return=-3.8255157470703125 global_step=911664, episodic_return=-15.808921813964844 global_step=912032, episodic_return=-74.77128601074219 global_step=912128, episodic_return=-21.68109130859375 global_step=912528, episodic_return=-12.347518920898438 global_step=912784, episodic_return=-30.294174194335938 global_step=912816, episodic_return=-53.34894943237305 global_step=912960, episodic_return=12.43560791015625 global_step=913024, episodic_return=-54.97409439086914 global_step=913184, episodic_return=-28.34015655517578 global_step=913232, episodic_return=18.787200927734375 global_step=913584, episodic_return=-11.0955810546875 global_step=913632, episodic_return=3.605682373046875 global_step=913920, episodic_return=-7.05853271484375 global_step=914528, episodic_return=-119.62218475341797 global_step=914544, episodic_return=-54.26887893676758 global_step=914640, episodic_return=-116.61956787109375 global_step=914672, episodic_return=-79.32170104980469 global_step=914912, episodic_return=-41.4343376159668 global_step=915040, episodic_return=-149.7865753173828 global_step=915264, episodic_return=-190.1084442138672 global_step=915280, episodic_return=81.25859069824219 global_step=915296, episodic_return=-55.12615203857422 global_step=915664, episodic_return=-105.60020446777344 global_step=915984, episodic_return=-0.985260009765625 global_step=916224, episodic_return=47.331329345703125 global_step=916304, episodic_return=39.012847900390625 global_step=916464, episodic_return=-46.7036247253418 global_step=916608, episodic_return=-47.9741096496582 global_step=916992, episodic_return=-28.542709350585938 global_step=917408, episodic_return=-24.8699951171875 global_step=917472, episodic_return=22.9281005859375 SPS: 2633 global_step=917632, episodic_return=-11.790969848632812 global_step=917808, episodic_return=-63.7495002746582 global_step=917952, episodic_return=8.28875732421875 global_step=918000, episodic_return=-31.800750732421875 global_step=918208, episodic_return=-113.1791000366211 global_step=918272, episodic_return=-72.22317504882812 global_step=918320, episodic_return=-34.67832946777344 global_step=918416, episodic_return=-93.26080322265625 global_step=918560, episodic_return=-59.408931732177734 global_step=919264, episodic_return=-69.30543518066406 global_step=919376, episodic_return=-38.19495391845703 global_step=919568, episodic_return=-294.662109375 global_step=920256, episodic_return=-67.29158020019531 global_step=920320, episodic_return=9.102584838867188 global_step=920416, episodic_return=-51.52865219116211 global_step=920624, episodic_return=57.19657897949219 global_step=920752, episodic_return=-20.709999084472656 global_step=920816, episodic_return=-158.8257598876953 global_step=920896, episodic_return=-44.80968475341797 global_step=920992, episodic_return=-75.0567855834961 global_step=921248, episodic_return=-27.727035522460938 global_step=921328, episodic_return=-18.86767578125 global_step=921424, episodic_return=-57.62900161743164 global_step=921456, episodic_return=-62.785709381103516 global_step=921504, episodic_return=-215.83236694335938 global_step=921728, episodic_return=-54.100013732910156 global_step=922320, episodic_return=-74.835205078125 global_step=922544, episodic_return=-96.44331359863281 global_step=922992, episodic_return=-106.25662994384766 global_step=923200, episodic_return=-44.77690887451172 global_step=923248, episodic_return=-64.8545150756836 global_step=923296, episodic_return=-91.98176574707031 global_step=923392, episodic_return=-41.2899284362793 global_step=923456, episodic_return=-71.91680908203125 global_step=924064, episodic_return=-82.12783813476562 global_step=924160, episodic_return=-82.16874694824219 global_step=924224, episodic_return=-85.22261810302734 global_step=924304, episodic_return=-73.37419128417969 global_step=924384, episodic_return=-89.57484436035156 global_step=924608, episodic_return=-28.876625061035156 global_step=924832, episodic_return=-224.99923706054688 global_step=925024, episodic_return=-135.62802124023438 global_step=925280, episodic_return=-11.959938049316406 global_step=925600, episodic_return=-134.2436065673828 SPS: 2633 global_step=926208, episodic_return=-181.40628051757812 global_step=926304, episodic_return=-73.64794158935547 global_step=926464, episodic_return=-32.155548095703125 global_step=926752, episodic_return=-97.12153625488281 global_step=926848, episodic_return=-10.005401611328125 global_step=926928, episodic_return=-49.174163818359375 global_step=926960, episodic_return=-107.39300537109375 global_step=927152, episodic_return=4.3863677978515625 global_step=927280, episodic_return=-28.457550048828125 global_step=927344, episodic_return=23.106483459472656 global_step=927808, episodic_return=-26.683837890625 global_step=927888, episodic_return=-106.56785583496094 global_step=928240, episodic_return=-62.18157196044922 global_step=928368, episodic_return=-13.222427368164062 global_step=928688, episodic_return=-40.2742919921875 global_step=928800, episodic_return=-6.236061096191406 global_step=928928, episodic_return=-11.372894287109375 global_step=929024, episodic_return=-28.834327697753906 global_step=929376, episodic_return=-168.30126953125 global_step=929472, episodic_return=-90.80803680419922 global_step=929792, episodic_return=-17.107139587402344 global_step=929936, episodic_return=26.80633544921875 global_step=929952, episodic_return=-84.13827514648438 global_step=929984, episodic_return=-38.787750244140625 global_step=930128, episodic_return=-165.70199584960938 global_step=930272, episodic_return=-221.857177734375 global_step=931296, episodic_return=-122.29503631591797 global_step=931312, episodic_return=-104.81812286376953 global_step=931536, episodic_return=-63.79623794555664 global_step=931712, episodic_return=-23.23523712158203 global_step=931728, episodic_return=-120.48303985595703 global_step=931888, episodic_return=-120.17428588867188 global_step=932080, episodic_return=-44.80006408691406 global_step=932160, episodic_return=-20.621788024902344 global_step=932176, episodic_return=-14.937973022460938 global_step=932224, episodic_return=-10.905189514160156 global_step=932320, episodic_return=-7.5138702392578125 global_step=932400, episodic_return=-22.85040283203125 global_step=932864, episodic_return=-171.33624267578125 global_step=933312, episodic_return=-44.76951217651367 global_step=933392, episodic_return=-43.63566207885742 global_step=933472, episodic_return=-13.71904468536377 global_step=933648, episodic_return=-26.74431610107422 SPS: 2626 global_step=933936, episodic_return=-24.33843994140625 global_step=934032, episodic_return=-49.51594161987305 global_step=934176, episodic_return=-8.903961181640625 global_step=934256, episodic_return=-77.0964584350586 global_step=934272, episodic_return=-64.68840026855469 global_step=934656, episodic_return=4.805755615234375 global_step=934800, episodic_return=-60.876285552978516 global_step=934880, episodic_return=22.98950958251953 global_step=935024, episodic_return=-52.42238235473633 global_step=935056, episodic_return=-45.63603210449219 global_step=935200, episodic_return=-60.3016242980957 global_step=935360, episodic_return=-43.47522735595703 global_step=935536, episodic_return=-41.1197624206543 global_step=935712, episodic_return=-31.447219848632812 global_step=935728, episodic_return=70.40423583984375 global_step=935872, episodic_return=-35.66020202636719 global_step=936128, episodic_return=-135.3950653076172 global_step=936240, episodic_return=-74.89680480957031 global_step=936320, episodic_return=-47.97203063964844 global_step=936512, episodic_return=-27.513214111328125 global_step=936768, episodic_return=-16.302101135253906 global_step=936784, episodic_return=-77.60186767578125 global_step=937104, episodic_return=-12.315483093261719 global_step=937344, episodic_return=-68.07778930664062 global_step=937520, episodic_return=-110.63057708740234 global_step=937616, episodic_return=-55.541996002197266 global_step=937808, episodic_return=-54.49892807006836 global_step=938128, episodic_return=-21.047256469726562 global_step=938352, episodic_return=-126.35310363769531 global_step=938576, episodic_return=-26.467010498046875 global_step=938800, episodic_return=-108.94454956054688 global_step=939184, episodic_return=-46.85770797729492 global_step=939200, episodic_return=-31.583633422851562 global_step=939424, episodic_return=-36.05774688720703 global_step=939456, episodic_return=-68.76725769042969 global_step=939600, episodic_return=-55.93050003051758 global_step=940032, episodic_return=-22.1234130859375 global_step=940256, episodic_return=53.28092956542969 global_step=940272, episodic_return=-186.6116485595703 global_step=940640, episodic_return=-58.62321472167969 global_step=940800, episodic_return=-28.7469482421875 global_step=940864, episodic_return=-49.62313461303711 global_step=941088, episodic_return=-36.36664581298828 global_step=941120, episodic_return=-120.74564361572266 global_step=941408, episodic_return=-67.94734191894531 global_step=941904, episodic_return=-31.923011779785156 global_step=941968, episodic_return=-101.58650970458984 global_step=941984, episodic_return=-314.74237060546875 global_step=942032, episodic_return=30.843917846679688 SPS: 2618 global_step=942096, episodic_return=-55.75087356567383 global_step=942320, episodic_return=-100.83522033691406 global_step=943072, episodic_return=-11.051994323730469 global_step=943088, episodic_return=-88.39867401123047 global_step=943216, episodic_return=18.416519165039062 global_step=943408, episodic_return=14.108802795410156 global_step=943552, episodic_return=-35.399078369140625 global_step=943760, episodic_return=-46.37546157836914 global_step=943888, episodic_return=52.08779525756836 global_step=943952, episodic_return=-109.21469116210938 global_step=944000, episodic_return=-28.69757080078125 global_step=944048, episodic_return=-41.9418830871582 global_step=944448, episodic_return=-37.95209503173828 global_step=944608, episodic_return=-50.628448486328125 global_step=944688, episodic_return=-39.27927780151367 global_step=945264, episodic_return=-84.42266082763672 global_step=945920, episodic_return=-80.9653091430664 global_step=946048, episodic_return=-261.72332763671875 global_step=946224, episodic_return=-70.96186065673828 global_step=946336, episodic_return=-48.76606369018555 global_step=946384, episodic_return=-65.01046752929688 global_step=946608, episodic_return=-57.154903411865234 global_step=946656, episodic_return=-101.45370483398438 global_step=946768, episodic_return=-37.34800720214844 global_step=947104, episodic_return=-46.37704086303711 global_step=947232, episodic_return=-38.071720123291016 global_step=947360, episodic_return=-47.012428283691406 global_step=947488, episodic_return=-28.418670654296875 global_step=948320, episodic_return=-67.50370788574219 global_step=948432, episodic_return=-108.30937957763672 global_step=948640, episodic_return=-67.2482681274414 global_step=948704, episodic_return=-145.23199462890625 global_step=948800, episodic_return=22.459609985351562 global_step=949008, episodic_return=-89.18476867675781 global_step=949248, episodic_return=-138.77203369140625 global_step=949568, episodic_return=-60.81424331665039 global_step=949648, episodic_return=-23.947616577148438 global_step=949744, episodic_return=-44.632198333740234 global_step=949824, episodic_return=-88.42145538330078 global_step=950000, episodic_return=-98.33995056152344 SPS: 2608 global_step=950384, episodic_return=-50.396636962890625 global_step=950416, episodic_return=-139.85430908203125 global_step=950448, episodic_return=-46.757179260253906 global_step=950656, episodic_return=-22.916908264160156 global_step=950752, episodic_return=-30.914466857910156 global_step=950944, episodic_return=-30.1064453125 global_step=951104, episodic_return=-108.12532806396484 global_step=951200, episodic_return=1.0253372192382812 global_step=951360, episodic_return=-71.39110565185547 global_step=951824, episodic_return=-0.5580368041992188 global_step=952064, episodic_return=-126.68724060058594 global_step=952208, episodic_return=-60.514530181884766 global_step=952384, episodic_return=-76.91763305664062 global_step=952512, episodic_return=-100.23131561279297 global_step=952576, episodic_return=-45.91584777832031 global_step=952736, episodic_return=10.292610168457031 global_step=952752, episodic_return=-24.227798461914062 global_step=953008, episodic_return=-76.26155090332031 global_step=953056, episodic_return=-4.9110107421875 global_step=953136, episodic_return=20.41162872314453 global_step=953152, episodic_return=-54.600582122802734 global_step=953616, episodic_return=-3.1929900646209717 global_step=954368, episodic_return=-30.916351318359375 global_step=954448, episodic_return=-62.97093963623047 global_step=954560, episodic_return=-173.38832092285156 global_step=954800, episodic_return=-195.2872314453125 global_step=954896, episodic_return=-85.51847839355469 global_step=954912, episodic_return=-175.79986572265625 global_step=955040, episodic_return=-41.18785095214844 global_step=955232, episodic_return=-40.25698471069336 global_step=955280, episodic_return=-55.50667953491211 global_step=955520, episodic_return=-45.67981719970703 global_step=955664, episodic_return=-56.589229583740234 global_step=955904, episodic_return=-29.907211303710938 global_step=955984, episodic_return=-52.75608825683594 global_step=956160, episodic_return=-56.15659713745117 global_step=956560, episodic_return=-32.299034118652344 global_step=956848, episodic_return=-1.8128280639648438 global_step=957296, episodic_return=-65.13706970214844 global_step=957328, episodic_return=-106.5582275390625 global_step=957600, episodic_return=2.43634033203125 global_step=957648, episodic_return=-71.3736572265625 global_step=957696, episodic_return=-94.66795349121094 global_step=957776, episodic_return=-12.642242431640625 global_step=958032, episodic_return=-181.77120971679688 global_step=958288, episodic_return=-157.44781494140625 global_step=958320, episodic_return=-17.1641845703125 SPS: 2600 global_step=958528, episodic_return=-82.97689819335938 global_step=958736, episodic_return=-27.814376831054688 global_step=958800, episodic_return=-6.312469482421875 global_step=959024, episodic_return=-25.985557556152344 global_step=959456, episodic_return=-40.272464752197266 global_step=959808, episodic_return=-110.04017639160156 global_step=960000, episodic_return=-224.91282653808594 global_step=960096, episodic_return=-18.189697265625 global_step=960112, episodic_return=-48.39065933227539 global_step=960144, episodic_return=-30.317459106445312 global_step=960224, episodic_return=-60.10469436645508 global_step=960496, episodic_return=-106.33425903320312 global_step=960640, episodic_return=-46.01166534423828 global_step=961216, episodic_return=21.408203125 global_step=961232, episodic_return=-4.488655090332031 global_step=961264, episodic_return=-43.77210235595703 global_step=961280, episodic_return=-16.602088928222656 global_step=961792, episodic_return=-296.7890625 global_step=961968, episodic_return=-77.87672424316406 global_step=961984, episodic_return=-30.30413055419922 global_step=962208, episodic_return=-42.87257766723633 global_step=962384, episodic_return=-96.03739929199219 global_step=962432, episodic_return=-60.850608825683594 global_step=962528, episodic_return=-125.7577896118164 global_step=962624, episodic_return=-19.39252471923828 global_step=962752, episodic_return=-50.977718353271484 global_step=963024, episodic_return=-86.30377197265625 global_step=963184, episodic_return=-104.93956756591797 global_step=963232, episodic_return=-72.61067962646484 global_step=963424, episodic_return=-7.2686767578125 global_step=963472, episodic_return=-35.9254150390625 global_step=964016, episodic_return=-31.37360382080078 global_step=964272, episodic_return=-4.626930236816406 global_step=964624, episodic_return=-52.63798904418945 global_step=964640, episodic_return=-22.55687713623047 global_step=964848, episodic_return=-33.63842010498047 global_step=965008, episodic_return=-108.05382537841797 global_step=965072, episodic_return=-1.4116592407226562 global_step=965136, episodic_return=-63.38077926635742 global_step=965504, episodic_return=-143.07647705078125 global_step=965520, episodic_return=13.14459228515625 global_step=965568, episodic_return=-7.539664268493652 global_step=965648, episodic_return=-48.688873291015625 global_step=965712, episodic_return=-9.232872009277344 global_step=966208, episodic_return=-31.249313354492188 global_step=966656, episodic_return=-179.66476440429688 SPS: 2597 global_step=966672, episodic_return=-19.5142822265625 global_step=967168, episodic_return=9.5203857421875 global_step=967248, episodic_return=-47.68788146972656 global_step=967376, episodic_return=-165.0590362548828 global_step=967408, episodic_return=-0.44458770751953125 global_step=967552, episodic_return=-49.49207305908203 global_step=967648, episodic_return=-86.03785705566406 global_step=967680, episodic_return=-55.372230529785156 global_step=967856, episodic_return=-31.385833740234375 global_step=968272, episodic_return=-221.3939971923828 global_step=968384, episodic_return=-62.405517578125 global_step=968480, episodic_return=-33.00608825683594 global_step=968640, episodic_return=-18.38018798828125 global_step=968848, episodic_return=-57.06696701049805 global_step=969264, episodic_return=-153.40203857421875 global_step=969360, episodic_return=4.2243194580078125 global_step=969600, episodic_return=-4.052085876464844 global_step=969824, episodic_return=14.23773193359375 global_step=969904, episodic_return=-28.242218017578125 global_step=969952, episodic_return=-22.567657470703125 global_step=969968, episodic_return=9.505683898925781 global_step=970048, episodic_return=-30.355133056640625 global_step=970096, episodic_return=-12.533027648925781 global_step=970192, episodic_return=-24.762107849121094 global_step=970336, episodic_return=-46.859004974365234 global_step=970576, episodic_return=-151.01632690429688 global_step=971184, episodic_return=-83.09217834472656 global_step=971280, episodic_return=-80.34303283691406 global_step=971344, episodic_return=9.584999084472656 global_step=971440, episodic_return=-59.783897399902344 global_step=971600, episodic_return=-39.56867980957031 global_step=971648, episodic_return=-151.5750274658203 global_step=972208, episodic_return=-140.4390411376953 global_step=972352, episodic_return=-19.585678100585938 global_step=972800, episodic_return=-72.70924377441406 global_step=972912, episodic_return=-24.153244018554688 global_step=972944, episodic_return=-70.19839477539062 global_step=972960, episodic_return=-33.935089111328125 global_step=973440, episodic_return=-3.5280685424804688 global_step=973472, episodic_return=-71.53314208984375 global_step=973776, episodic_return=-56.82432556152344 global_step=973872, episodic_return=-181.57952880859375 global_step=973888, episodic_return=0.5688629150390625 global_step=974176, episodic_return=11.844123840332031 SPS: 2597 global_step=975024, episodic_return=-14.940902709960938 global_step=975136, episodic_return=-5.785133361816406 global_step=975184, episodic_return=13.087348937988281 global_step=975296, episodic_return=-78.46759033203125 global_step=975536, episodic_return=-25.986221313476562 global_step=975600, episodic_return=-0.3747100830078125 global_step=976224, episodic_return=-45.20782470703125 global_step=976352, episodic_return=-74.88618469238281 global_step=976384, episodic_return=-23.489051818847656 global_step=976400, episodic_return=-28.104942321777344 global_step=976640, episodic_return=-35.43681335449219 global_step=977136, episodic_return=-140.7063751220703 global_step=977184, episodic_return=-55.74455642700195 global_step=977296, episodic_return=26.869895935058594 global_step=977312, episodic_return=-108.0307388305664 global_step=977680, episodic_return=3.627471923828125 global_step=977696, episodic_return=-61.33857345581055 global_step=977712, episodic_return=-157.32704162597656 global_step=978544, episodic_return=-2.8557510375976562 global_step=978560, episodic_return=32.0823974609375 global_step=978816, episodic_return=-74.9513931274414 global_step=978896, episodic_return=-56.72553634643555 global_step=978928, episodic_return=-60.19817352294922 global_step=979088, episodic_return=-76.26467895507812 global_step=979296, episodic_return=-59.805580139160156 global_step=979520, episodic_return=-8.849510192871094 global_step=979680, episodic_return=-66.08485412597656 global_step=979744, episodic_return=-17.488685607910156 global_step=979792, episodic_return=-203.5242919921875 global_step=979824, episodic_return=-40.12578201293945 global_step=979936, episodic_return=-106.21588897705078 global_step=980128, episodic_return=-5.126289367675781 global_step=980832, episodic_return=11.954582214355469 global_step=980896, episodic_return=12.026077270507812 global_step=981008, episodic_return=42.53858947753906 global_step=981040, episodic_return=-110.58116149902344 global_step=981264, episodic_return=-147.93853759765625 global_step=981424, episodic_return=-125.00291442871094 global_step=981456, episodic_return=-138.73776245117188 global_step=981472, episodic_return=-181.48992919921875 global_step=982096, episodic_return=-74.64871978759766 global_step=982272, episodic_return=-85.69709777832031 global_step=982432, episodic_return=-20.34313201904297 global_step=982464, episodic_return=-159.44427490234375 global_step=982608, episodic_return=45.981536865234375 SPS: 2593 global_step=983184, episodic_return=-133.7199249267578 global_step=983216, episodic_return=25.22350311279297 global_step=983328, episodic_return=-77.82022857666016 global_step=983376, episodic_return=-20.94487762451172 global_step=983424, episodic_return=-25.88422393798828 global_step=983456, episodic_return=-33.46369934082031 global_step=983504, episodic_return=-113.96588897705078 global_step=984480, episodic_return=-60.74724578857422 global_step=984576, episodic_return=-172.54696655273438 global_step=984848, episodic_return=-79.90214538574219 global_step=984960, episodic_return=-62.278724670410156 global_step=985280, episodic_return=-40.85966491699219 global_step=985536, episodic_return=-85.92381286621094 global_step=985632, episodic_return=-41.72921371459961 global_step=985760, episodic_return=-119.60150146484375 global_step=985776, episodic_return=-53.79521560668945 global_step=986176, episodic_return=-42.5918083190918 global_step=986240, episodic_return=-65.0286865234375 global_step=986320, episodic_return=-75.59010314941406 global_step=986464, episodic_return=-18.19794464111328 global_step=986496, episodic_return=-16.361099243164062 global_step=986656, episodic_return=3.9984512329101562 global_step=986704, episodic_return=-80.36190795898438 global_step=986720, episodic_return=-84.00357818603516 global_step=987056, episodic_return=-55.44198989868164 global_step=987280, episodic_return=-51.100181579589844 global_step=987664, episodic_return=-68.64957427978516 global_step=988032, episodic_return=-38.64276885986328 global_step=988160, episodic_return=-1.052093505859375 global_step=988512, episodic_return=-85.72407531738281 global_step=988528, episodic_return=-139.82135009765625 global_step=988608, episodic_return=1.9472579956054688 global_step=988624, episodic_return=-122.22752380371094 global_step=988768, episodic_return=-300.63372802734375 global_step=988800, episodic_return=10.921621322631836 global_step=988832, episodic_return=-51.61436080932617 global_step=989024, episodic_return=25.3641357421875 global_step=989488, episodic_return=-26.723655700683594 global_step=989600, episodic_return=-15.925750732421875 global_step=989776, episodic_return=-66.76258850097656 global_step=989920, episodic_return=-64.10670471191406 global_step=990560, episodic_return=33.02183532714844 global_step=990640, episodic_return=0.172607421875 global_step=990672, episodic_return=-147.0013885498047 global_step=990752, episodic_return=-34.05065155029297 global_step=990832, episodic_return=-7.51617431640625 global_step=991152, episodic_return=20.46863555908203 global_step=991216, episodic_return=-66.92800903320312 SPS: 2587 global_step=991360, episodic_return=-199.66310119628906 global_step=991424, episodic_return=-20.965179443359375 global_step=991760, episodic_return=-145.28663635253906 global_step=991856, episodic_return=-18.130325317382812 global_step=991952, episodic_return=-190.92202758789062 global_step=992016, episodic_return=-41.10535430908203 global_step=992144, episodic_return=-81.20112609863281 global_step=992272, episodic_return=-4.257926940917969 global_step=992928, episodic_return=-18.741653442382812 global_step=993392, episodic_return=-177.68482971191406 global_step=993728, episodic_return=-88.8016357421875 global_step=993808, episodic_return=24.84929656982422 global_step=993968, episodic_return=-36.44425964355469 global_step=994032, episodic_return=-6.098762512207031 global_step=994064, episodic_return=-7.211219787597656 global_step=994096, episodic_return=-31.720237731933594 global_step=994128, episodic_return=-96.53138732910156 global_step=994496, episodic_return=5.626136779785156 global_step=994624, episodic_return=-37.1966438293457 global_step=994688, episodic_return=-90.44053649902344 global_step=994880, episodic_return=-53.084007263183594 global_step=995040, episodic_return=-98.03065490722656 global_step=995520, episodic_return=-123.99435424804688 global_step=995552, episodic_return=-20.513534545898438 global_step=995584, episodic_return=-58.38889694213867 global_step=995792, episodic_return=-38.28810119628906 global_step=996176, episodic_return=-163.7768096923828 global_step=996288, episodic_return=-15.654136657714844 global_step=996576, episodic_return=-73.63424682617188 global_step=997200, episodic_return=-92.42684173583984 global_step=997264, episodic_return=24.067279815673828 global_step=997312, episodic_return=-29.472442626953125 global_step=997328, episodic_return=-44.115203857421875 global_step=997392, episodic_return=-98.06450653076172 global_step=997520, episodic_return=-67.21969604492188 global_step=997728, episodic_return=-119.20092010498047 global_step=997888, episodic_return=-30.05040740966797 global_step=998112, episodic_return=-145.96768188476562 global_step=998576, episodic_return=-51.50302505493164 global_step=998592, episodic_return=-31.37787628173828 global_step=998928, episodic_return=-79.35611724853516 global_step=999104, episodic_return=-55.88748550415039 global_step=999328, episodic_return=-177.85745239257812 global_step=999360, episodic_return=6.586997985839844 global_step=999392, episodic_return=-166.88565063476562 SPS: 2584 ℹ This function will save, evaluate, generate a video of your agent, create a model card and push everything to the hub. It might take up to 1min. This is a work in progress: if you encounter a bug, please open an issue. ALSA lib confmisc.c:855:(parse_card) cannot find card '0' ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_card_inum returned error: No such file or directory ALSA lib confmisc.c:422:(snd_func_concat) error evaluating strings ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_concat returned error: No such file or directory ALSA lib confmisc.c:1334:(snd_func_refer) error evaluating name ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_refer returned error: No such file or directory ALSA lib conf.c:5701:(snd_config_expand) Evaluate error: No such file or directory ALSA lib pcm.c:2664:(snd_pcm_open_noupdate) Unknown PCM default IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size=16, resizing from (600, 400) to (608, 400) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility). ℹ Pushing repo Chiz/ppo-LunarLander-v2 to the Hugging Face Hub Processing Files (0 / 0) : | | 0.00B / 0.00B New Data Upload : | | 0.00B / 0.00B ...16860.86cf83882442.9173.0: 100% 972k/972k [00:00<?, ?B/s] /tmp/tmpqihprnk3/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] ...16860.86cf83882442.9173.0: 100% 972k/972k [00:00<?, ?B/s] Processing Files (2 / 2) : 100% 1.02M/1.02M [00:00<00:00, 1.16MB/s, 1.69MB/s ] New Data Upload : 100% 1.02M/1.02M [00:00<00:00, 1.16MB/s, 1.69MB/s ] ...16860.86cf83882442.9173.0: 100% 972k/972k [00:00<?, ?B/s] /tmp/tmpqihprnk3/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] ...16860.86cf83882442.9173.0: 100% 972k/972k [00:00<?, ?B/s] Processing Files (2 / 2) : 100% 1.02M/1.02M [00:01<00:00, 943kB/s, 1.27MB/s ] New Data Upload : 100% 1.02M/1.02M [00:01<00:00, 943kB/s, 1.27MB/s ] ...16860.86cf83882442.9173.0: 100% 972k/972k [00:00<?, ?B/s] /tmp/tmpqihprnk3/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] ℹ Your model is pushed to the Hub. You can view your model here: https://huggingface.co/Chiz/ppo-LunarLander-v2/commit/8babea4abc3c6ac44f07e433e1e43c57a3f1df44
Huggingface mean_reward on LunarLander-v2 self-reported: -69.14 +/- 46.39¶
In [ ]:
!python ppo.py \
--env-id="LunarLander-v2" \
--repo-id="Chiz/ppo-LunarLander-v2" \
--total-timesteps=1000000 \
--learning-rate=2.5e-4 \
--num-envs=16 \
--num-steps=1024 \
--gamma=0.99 \
--gae-lambda=0.95 \
--num-minibatches=4 \
--update-epochs=10 \
--ent-coef=0.01 \
--anneal-lr=True
Gym has been unmaintained since 2022 and does not support NumPy 2.0 amongst other critical functionality. Please upgrade to Gymnasium, the maintained drop-in replacement of Gym, or contact the authors of your software and request that they upgrade. See the migration guide at https://gymnasium.farama.org/introduction/migration_guide/ for additional information. 2026-02-15 01:12:01.975394: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:467] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR E0000 00:00:1771117921.996150 13633 cuda_dnn.cc:8579] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered E0000 00:00:1771117922.003305 13633 cuda_blas.cc:1407] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered W0000 00:00:1771117922.020830 13633 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771117922.020856 13633 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771117922.020860 13633 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771117922.020864 13633 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. 2026-02-15 01:12:02.025501: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations. To enable the following instructions: AVX2 FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags. global_step=1136, episodic_return=-120.37911224365234 global_step=1168, episodic_return=-88.90178680419922 global_step=1200, episodic_return=-125.00140380859375 global_step=1344, episodic_return=-404.14306640625 global_step=1376, episodic_return=-70.5389633178711 global_step=1536, episodic_return=-140.92999267578125 global_step=1616, episodic_return=-242.15333557128906 global_step=1648, episodic_return=-92.00662231445312 global_step=1680, episodic_return=-109.83496856689453 global_step=1696, episodic_return=-170.81808471679688 global_step=1888, episodic_return=-320.47113037109375 global_step=1904, episodic_return=-81.00199127197266 global_step=1936, episodic_return=-20.284835815429688 global_step=2016, episodic_return=-375.2597961425781 global_step=2048, episodic_return=-71.44508361816406 global_step=2416, episodic_return=-102.25274658203125 global_step=2784, episodic_return=-359.5760192871094 global_step=2800, episodic_return=-95.84423065185547 global_step=2832, episodic_return=-265.513671875 global_step=2912, episodic_return=-222.11920166015625 global_step=2928, episodic_return=-81.24649047851562 global_step=2960, episodic_return=-206.37762451171875 global_step=3136, episodic_return=-81.619140625 global_step=3280, episodic_return=-331.29351806640625 global_step=3344, episodic_return=-207.9798583984375 global_step=3376, episodic_return=-123.97432708740234 global_step=3392, episodic_return=-479.1644592285156 global_step=3792, episodic_return=-169.76611328125 global_step=3856, episodic_return=-94.81404876708984 global_step=3872, episodic_return=-106.20765686035156 global_step=3952, episodic_return=-224.209716796875 global_step=4000, episodic_return=-130.58908081054688 global_step=4208, episodic_return=-81.72651672363281 global_step=4240, episodic_return=-117.05354309082031 global_step=4320, episodic_return=-103.4632797241211 global_step=4352, episodic_return=-229.77891540527344 global_step=4544, episodic_return=-113.75259399414062 global_step=4624, episodic_return=-205.71966552734375 global_step=4656, episodic_return=-163.04998779296875 global_step=4784, episodic_return=-540.876708984375 global_step=4816, episodic_return=-350.6524963378906 global_step=4832, episodic_return=-240.8679962158203 global_step=4944, episodic_return=-104.04576873779297 global_step=5136, episodic_return=-116.46452331542969 global_step=5264, episodic_return=-223.84754943847656 global_step=5280, episodic_return=-218.2301483154297 global_step=5456, episodic_return=-67.10397338867188 global_step=5616, episodic_return=-171.53079223632812 global_step=5648, episodic_return=-188.77415466308594 global_step=5696, episodic_return=-139.28335571289062 global_step=5808, episodic_return=-263.79193115234375 global_step=5856, episodic_return=-87.25646209716797 global_step=5872, episodic_return=-59.67002487182617 global_step=5952, episodic_return=-122.65647888183594 global_step=6080, episodic_return=-297.56524658203125 global_step=6096, episodic_return=-97.82431030273438 global_step=6240, episodic_return=-101.09182739257812 global_step=6320, episodic_return=-314.4579162597656 global_step=6496, episodic_return=-57.691734313964844 global_step=6560, episodic_return=-88.28770446777344 global_step=6704, episodic_return=-52.97072982788086 global_step=6784, episodic_return=-86.69527435302734 global_step=6960, episodic_return=-80.48553466796875 global_step=6992, episodic_return=-196.3870086669922 global_step=7040, episodic_return=-242.6302947998047 global_step=7136, episodic_return=-138.781982421875 global_step=7216, episodic_return=-642.249755859375 global_step=7264, episodic_return=-153.7117919921875 global_step=7296, episodic_return=-124.68617248535156 global_step=7376, episodic_return=-317.15875244140625 global_step=7488, episodic_return=-199.86155700683594 global_step=7632, episodic_return=-236.80755615234375 global_step=7712, episodic_return=-89.87983703613281 global_step=8112, episodic_return=-208.70953369140625 global_step=8160, episodic_return=-57.72515869140625 global_step=8336, episodic_return=-109.95030975341797 global_step=8384, episodic_return=-134.9935302734375 global_step=8448, episodic_return=-260.76080322265625 global_step=8528, episodic_return=-195.89410400390625 global_step=8672, episodic_return=-163.92193603515625 global_step=8784, episodic_return=-310.9855651855469 global_step=8880, episodic_return=-266.99957275390625 global_step=9024, episodic_return=-185.00482177734375 global_step=9088, episodic_return=-162.64779663085938 global_step=9376, episodic_return=-249.2372283935547 global_step=9472, episodic_return=-139.20486450195312 global_step=9680, episodic_return=-167.8804931640625 global_step=9760, episodic_return=-85.0106201171875 global_step=9824, episodic_return=-240.51705932617188 global_step=9920, episodic_return=-219.35641479492188 global_step=9936, episodic_return=-1.0964431762695312 global_step=9952, episodic_return=-396.1626281738281 global_step=10080, episodic_return=-12.033546447753906 global_step=10096, episodic_return=-300.6098327636719 global_step=10128, episodic_return=-24.920989990234375 global_step=10160, episodic_return=-99.00643157958984 global_step=10432, episodic_return=-74.77631378173828 global_step=10528, episodic_return=-243.7557373046875 global_step=10688, episodic_return=-391.9200439453125 global_step=10736, episodic_return=-156.596435546875 global_step=10816, episodic_return=-69.18864440917969 global_step=11024, episodic_return=-79.97271728515625 global_step=11136, episodic_return=-92.91183471679688 global_step=11168, episodic_return=-85.56299591064453 global_step=11232, episodic_return=-95.50347900390625 global_step=11328, episodic_return=-416.19183349609375 global_step=11392, episodic_return=-329.7781066894531 global_step=11616, episodic_return=-121.60391998291016 global_step=11680, episodic_return=-167.78363037109375 global_step=11712, episodic_return=-145.77471923828125 global_step=11728, episodic_return=-134.13372802734375 global_step=11840, episodic_return=-81.71385192871094 global_step=11984, episodic_return=-260.58685302734375 global_step=12064, episodic_return=-291.5769348144531 global_step=12176, episodic_return=-123.21067810058594 global_step=12272, episodic_return=-92.99011993408203 global_step=12336, episodic_return=-219.3701934814453 global_step=12656, episodic_return=-71.37358856201172 global_step=12720, episodic_return=-418.7044982910156 global_step=12784, episodic_return=-97.78112030029297 global_step=12848, episodic_return=-100.34900665283203 global_step=12960, episodic_return=-248.6029815673828 global_step=13088, episodic_return=-130.0629119873047 global_step=13136, episodic_return=7.758018493652344 global_step=13216, episodic_return=-104.8854751586914 global_step=13376, episodic_return=-181.7991943359375 global_step=13408, episodic_return=-297.76116943359375 global_step=13504, episodic_return=-118.56736755371094 global_step=13616, episodic_return=-206.1214599609375 global_step=13888, episodic_return=-197.9373779296875 global_step=13952, episodic_return=-365.2164611816406 global_step=13968, episodic_return=-142.75613403320312 global_step=14016, episodic_return=-93.41387176513672 global_step=14048, episodic_return=-108.16592407226562 global_step=14080, episodic_return=-218.28460693359375 global_step=14096, episodic_return=-71.71263885498047 global_step=14176, episodic_return=-118.36214447021484 global_step=14240, episodic_return=-112.15415954589844 global_step=14480, episodic_return=-370.445556640625 global_step=14528, episodic_return=-220.95297241210938 global_step=14640, episodic_return=-68.75447845458984 global_step=14656, episodic_return=-142.70797729492188 global_step=14864, episodic_return=-76.15425109863281 global_step=15024, episodic_return=-111.20521545410156 global_step=15184, episodic_return=-122.27755737304688 global_step=15376, episodic_return=-240.9208526611328 global_step=15392, episodic_return=-341.53466796875 global_step=15424, episodic_return=-119.73259735107422 global_step=15472, episodic_return=-324.53778076171875 global_step=15536, episodic_return=-125.19328308105469 global_step=15552, episodic_return=-525.8367919921875 global_step=15696, episodic_return=-128.2164306640625 global_step=15840, episodic_return=-88.35011291503906 global_step=16032, episodic_return=-79.16796875 global_step=16080, episodic_return=-188.69668579101562 global_step=16112, episodic_return=-319.3144226074219 global_step=16240, episodic_return=-113.58850860595703 global_step=16288, episodic_return=-205.43487548828125 SPS: 2844 global_step=16592, episodic_return=-135.30108642578125 global_step=16656, episodic_return=-46.108341217041016 global_step=16704, episodic_return=-118.26046752929688 global_step=16896, episodic_return=-110.50311279296875 global_step=16960, episodic_return=-211.28558349609375 global_step=17104, episodic_return=-365.26715087890625 global_step=17200, episodic_return=-120.9567642211914 global_step=17248, episodic_return=-445.4554443359375 global_step=17312, episodic_return=-466.1138916015625 global_step=17504, episodic_return=-217.80633544921875 global_step=17520, episodic_return=-581.89501953125 global_step=17648, episodic_return=-147.14320373535156 global_step=17920, episodic_return=-144.24072265625 global_step=18144, episodic_return=-377.9192199707031 global_step=18192, episodic_return=-308.278076171875 global_step=18320, episodic_return=-119.95604705810547 global_step=18400, episodic_return=-61.524105072021484 global_step=18432, episodic_return=-62.050106048583984 global_step=18480, episodic_return=-118.34522247314453 global_step=18592, episodic_return=-105.30187225341797 global_step=18656, episodic_return=-137.46282958984375 global_step=18784, episodic_return=-342.188720703125 global_step=18848, episodic_return=-96.41785430908203 global_step=18976, episodic_return=-114.93775939941406 global_step=19248, episodic_return=-134.1559600830078 global_step=19296, episodic_return=-197.90928649902344 global_step=19424, episodic_return=-295.1940612792969 global_step=19536, episodic_return=-185.84649658203125 global_step=19584, episodic_return=-38.82991409301758 global_step=19776, episodic_return=-156.69186401367188 global_step=19824, episodic_return=-82.20248413085938 global_step=19856, episodic_return=-102.04076385498047 global_step=19888, episodic_return=-83.96533966064453 global_step=20016, episodic_return=-211.171875 global_step=20080, episodic_return=-160.785400390625 global_step=20272, episodic_return=-219.86474609375 global_step=20432, episodic_return=-113.98143005371094 global_step=20448, episodic_return=-162.83871459960938 global_step=20480, episodic_return=-101.03119659423828 global_step=20592, episodic_return=-84.01334381103516 global_step=20752, episodic_return=-153.15130615234375 global_step=20944, episodic_return=-280.60406494140625 global_step=21088, episodic_return=-236.08929443359375 global_step=21184, episodic_return=-389.9876708984375 global_step=21344, episodic_return=-52.64537811279297 global_step=21360, episodic_return=-332.083251953125 global_step=21376, episodic_return=-102.29753875732422 global_step=21584, episodic_return=-134.199951171875 global_step=21632, episodic_return=-128.26890563964844 global_step=21648, episodic_return=-87.843994140625 global_step=21728, episodic_return=-162.3407745361328 global_step=22016, episodic_return=-230.9186553955078 global_step=22080, episodic_return=-303.47857666015625 global_step=22112, episodic_return=-237.4211883544922 global_step=22528, episodic_return=-342.6374206542969 global_step=22560, episodic_return=-358.8780517578125 global_step=22592, episodic_return=-46.005409240722656 global_step=22720, episodic_return=-203.21282958984375 global_step=22752, episodic_return=-315.5770263671875 global_step=22880, episodic_return=-132.33993530273438 global_step=22944, episodic_return=-403.9315490722656 global_step=22992, episodic_return=31.413570404052734 global_step=23120, episodic_return=-110.12108612060547 global_step=23168, episodic_return=-120.74269104003906 global_step=23184, episodic_return=-158.43853759765625 global_step=23200, episodic_return=-120.48438262939453 global_step=23216, episodic_return=-192.37034606933594 global_step=23328, episodic_return=-76.75659942626953 global_step=23712, episodic_return=-157.48809814453125 global_step=23728, episodic_return=-72.00090789794922 global_step=23856, episodic_return=-178.654052734375 global_step=24192, episodic_return=-106.66815185546875 global_step=24240, episodic_return=-101.21142578125 global_step=24384, episodic_return=-212.617919921875 global_step=24400, episodic_return=-112.9324951171875 global_step=24480, episodic_return=-80.967041015625 global_step=24576, episodic_return=-98.09911346435547 global_step=24608, episodic_return=-80.35887908935547 global_step=24640, episodic_return=-251.81649780273438 global_step=24704, episodic_return=-207.2669677734375 global_step=24720, episodic_return=-139.6387176513672 global_step=24896, episodic_return=-361.7754211425781 global_step=24992, episodic_return=-13.850616455078125 global_step=25072, episodic_return=-92.47266387939453 global_step=25296, episodic_return=-222.4365692138672 global_step=25360, episodic_return=-99.22276306152344 global_step=25472, episodic_return=-176.11996459960938 global_step=25568, episodic_return=-97.60185241699219 global_step=25648, episodic_return=-67.68253326416016 global_step=25760, episodic_return=-197.01556396484375 global_step=25792, episodic_return=-199.00799560546875 global_step=25824, episodic_return=-354.70123291015625 global_step=26048, episodic_return=-96.32469940185547 global_step=26128, episodic_return=-142.34432983398438 global_step=26144, episodic_return=5.9317779541015625 global_step=26304, episodic_return=-86.33200073242188 global_step=26336, episodic_return=-59.8730354309082 global_step=26448, episodic_return=-137.80030822753906 global_step=26592, episodic_return=-203.10482788085938 global_step=26800, episodic_return=-176.02285766601562 global_step=27008, episodic_return=-192.01434326171875 global_step=27024, episodic_return=-129.59243774414062 global_step=27104, episodic_return=-112.08525848388672 global_step=27120, episodic_return=-183.8679962158203 global_step=27232, episodic_return=-287.45428466796875 global_step=27248, episodic_return=-167.88038635253906 global_step=27520, episodic_return=-120.87799072265625 global_step=27680, episodic_return=-126.19454193115234 global_step=27968, episodic_return=-378.3050537109375 global_step=28016, episodic_return=-364.7644958496094 global_step=28128, episodic_return=-255.7632598876953 global_step=28256, episodic_return=-372.035400390625 global_step=28288, episodic_return=-70.08792877197266 global_step=28336, episodic_return=-230.84237670898438 global_step=28368, episodic_return=-81.3797607421875 global_step=28416, episodic_return=-80.44913482666016 global_step=28608, episodic_return=-175.518310546875 global_step=28736, episodic_return=-304.88897705078125 global_step=28816, episodic_return=-189.3001708984375 global_step=28960, episodic_return=-58.54791259765625 global_step=29296, episodic_return=-395.0091552734375 global_step=29360, episodic_return=-96.15843200683594 global_step=29408, episodic_return=-323.67236328125 global_step=29488, episodic_return=-126.58145141601562 global_step=29664, episodic_return=-227.15582275390625 global_step=29760, episodic_return=-297.5184326171875 global_step=29824, episodic_return=-122.44183349609375 global_step=29872, episodic_return=-185.30795288085938 global_step=29984, episodic_return=-129.24917602539062 global_step=30000, episodic_return=-294.21185302734375 global_step=30160, episodic_return=-128.7200164794922 global_step=30176, episodic_return=-272.27166748046875 global_step=30256, episodic_return=-232.17208862304688 global_step=30448, episodic_return=-97.30646514892578 global_step=30528, episodic_return=-196.989501953125 global_step=30656, episodic_return=-85.72515106201172 global_step=30800, episodic_return=-119.8568115234375 global_step=30864, episodic_return=-149.63479614257812 global_step=30896, episodic_return=-83.28044128417969 global_step=30944, episodic_return=-106.7783203125 global_step=31184, episodic_return=-110.64739227294922 global_step=31264, episodic_return=-267.95782470703125 global_step=31392, episodic_return=-273.62677001953125 global_step=31456, episodic_return=-104.61170959472656 global_step=31504, episodic_return=-98.79107666015625 global_step=31600, episodic_return=-128.46470642089844 global_step=31712, episodic_return=-201.53497314453125 global_step=31872, episodic_return=-243.56069946289062 global_step=31888, episodic_return=-345.4072570800781 global_step=31936, episodic_return=-180.45530700683594 global_step=32064, episodic_return=-78.69274139404297 global_step=32416, episodic_return=-234.5126495361328 global_step=32432, episodic_return=-285.64117431640625 global_step=32464, episodic_return=-235.31724548339844 global_step=32528, episodic_return=-56.61627960205078 global_step=32672, episodic_return=-141.71084594726562 global_step=32688, episodic_return=-130.4705810546875 SPS: 2715 global_step=32976, episodic_return=-123.22286987304688 global_step=32992, episodic_return=-392.618408203125 global_step=33024, episodic_return=-92.55516815185547 global_step=33072, episodic_return=-380.1831359863281 global_step=33104, episodic_return=-90.80165100097656 global_step=33408, episodic_return=-286.6627502441406 global_step=33456, episodic_return=-259.36151123046875 global_step=33680, episodic_return=-143.03875732421875 global_step=33744, episodic_return=-3.0549087524414062 global_step=33760, episodic_return=-67.8333740234375 global_step=33824, episodic_return=-110.25154113769531 global_step=33856, episodic_return=-353.3073425292969 global_step=34000, episodic_return=-223.14398193359375 global_step=34112, episodic_return=-258.95806884765625 global_step=34160, episodic_return=-184.66201782226562 global_step=34336, episodic_return=-350.75244140625 global_step=34480, episodic_return=-240.9551239013672 global_step=34496, episodic_return=-170.6427001953125 global_step=34784, episodic_return=-391.9488220214844 global_step=34832, episodic_return=-100.76687622070312 global_step=34960, episodic_return=-94.17639923095703 global_step=35040, episodic_return=-136.87786865234375 global_step=35152, episodic_return=-116.17239379882812 global_step=35232, episodic_return=-189.06390380859375 global_step=35312, episodic_return=-139.826416015625 global_step=35472, episodic_return=-52.67341613769531 global_step=35536, episodic_return=-96.383056640625 global_step=35616, episodic_return=-490.56884765625 global_step=35680, episodic_return=-302.4701843261719 global_step=35872, episodic_return=-101.85417938232422 global_step=36032, episodic_return=3.0536270141601562 global_step=36096, episodic_return=-106.85877990722656 global_step=36176, episodic_return=-221.7869873046875 global_step=36224, episodic_return=-155.1969451904297 global_step=36304, episodic_return=-197.83544921875 global_step=36336, episodic_return=-107.49553680419922 global_step=36368, episodic_return=-140.46705627441406 global_step=36512, episodic_return=-249.2980499267578 global_step=36640, episodic_return=-114.00540161132812 global_step=36656, episodic_return=-96.58170318603516 global_step=36832, episodic_return=-68.64985656738281 global_step=36880, episodic_return=-412.9398193359375 global_step=36976, episodic_return=-83.7806396484375 global_step=37456, episodic_return=-92.9685287475586 global_step=37472, episodic_return=-248.72276306152344 global_step=37552, episodic_return=-389.977294921875 global_step=37648, episodic_return=-148.6565399169922 global_step=37744, episodic_return=-162.7625732421875 global_step=37792, episodic_return=-256.1201171875 global_step=37808, episodic_return=-120.09315490722656 global_step=37856, episodic_return=-129.5935821533203 global_step=37904, episodic_return=-152.7602081298828 global_step=38000, episodic_return=-121.29423522949219 global_step=38032, episodic_return=-89.03341674804688 global_step=38224, episodic_return=-167.30361938476562 global_step=38480, episodic_return=-315.6784362792969 global_step=38688, episodic_return=-87.86408996582031 global_step=38752, episodic_return=-117.595458984375 global_step=38976, episodic_return=-164.53173828125 global_step=39024, episodic_return=2.57012939453125 global_step=39056, episodic_return=-94.50624084472656 global_step=39072, episodic_return=-111.785888671875 global_step=39168, episodic_return=-413.5806579589844 global_step=39200, episodic_return=-108.08625793457031 global_step=39264, episodic_return=-215.96908569335938 global_step=39312, episodic_return=-230.3059539794922 global_step=39328, episodic_return=-73.64826202392578 global_step=39648, episodic_return=-253.44863891601562 global_step=39904, episodic_return=-91.8087387084961 global_step=40112, episodic_return=-165.55862426757812 global_step=40128, episodic_return=-247.22677612304688 global_step=40304, episodic_return=-195.5622100830078 global_step=40336, episodic_return=-250.7618865966797 global_step=40608, episodic_return=-119.7445297241211 global_step=40688, episodic_return=-114.5071029663086 global_step=40736, episodic_return=-150.67413330078125 global_step=40752, episodic_return=-142.80438232421875 global_step=40880, episodic_return=-220.73577880859375 global_step=40912, episodic_return=-152.87118530273438 global_step=41072, episodic_return=-73.93307495117188 global_step=41120, episodic_return=-129.88192749023438 global_step=41248, episodic_return=-74.81407928466797 global_step=41408, episodic_return=-108.90190887451172 global_step=41520, episodic_return=-290.6259765625 global_step=41616, episodic_return=-114.96697235107422 global_step=41648, episodic_return=-217.55047607421875 global_step=41872, episodic_return=-115.64329528808594 global_step=41904, episodic_return=-123.78266906738281 global_step=41936, episodic_return=-68.02435302734375 global_step=42112, episodic_return=-179.92291259765625 global_step=42384, episodic_return=-135.54739379882812 global_step=42544, episodic_return=-94.13053894042969 global_step=42848, episodic_return=-94.35638427734375 global_step=42960, episodic_return=-189.69505310058594 global_step=43104, episodic_return=-111.21709442138672 global_step=43248, episodic_return=-118.33724212646484 global_step=43328, episodic_return=-100.77623748779297 global_step=43344, episodic_return=-44.42979049682617 global_step=43456, episodic_return=-245.98194885253906 global_step=43536, episodic_return=-103.64530181884766 global_step=43968, episodic_return=-515.1542358398438 global_step=44000, episodic_return=21.63628387451172 global_step=44144, episodic_return=-230.4014892578125 global_step=44192, episodic_return=-58.14397048950195 global_step=44224, episodic_return=-69.60592651367188 global_step=44336, episodic_return=-128.51254272460938 global_step=44416, episodic_return=-198.97250366210938 global_step=44656, episodic_return=-145.94479370117188 global_step=44784, episodic_return=-155.47694396972656 global_step=44832, episodic_return=-83.99095153808594 global_step=44864, episodic_return=-126.20308685302734 global_step=44928, episodic_return=-90.23625183105469 global_step=45216, episodic_return=-123.57347869873047 global_step=45376, episodic_return=-96.97637176513672 global_step=45392, episodic_return=-415.5896911621094 global_step=45408, episodic_return=-82.67850494384766 global_step=45584, episodic_return=-201.69473266601562 global_step=45600, episodic_return=-64.97590637207031 global_step=45648, episodic_return=-252.22813415527344 global_step=45888, episodic_return=-181.09445190429688 global_step=45936, episodic_return=-57.965877532958984 global_step=46000, episodic_return=-209.9248046875 global_step=46208, episodic_return=-97.80635070800781 global_step=46304, episodic_return=-219.64761352539062 global_step=46448, episodic_return=-104.08538055419922 global_step=46480, episodic_return=-276.1014404296875 global_step=46528, episodic_return=-78.99995422363281 global_step=46672, episodic_return=-155.76251220703125 global_step=46720, episodic_return=-126.38927459716797 global_step=46832, episodic_return=-170.39352416992188 global_step=46848, episodic_return=-92.68476104736328 global_step=47008, episodic_return=-136.77023315429688 global_step=47104, episodic_return=-350.6400146484375 global_step=47200, episodic_return=-51.554569244384766 global_step=47648, episodic_return=-99.07894897460938 global_step=47664, episodic_return=-115.47425842285156 global_step=47712, episodic_return=-114.65750122070312 global_step=47824, episodic_return=-98.1023178100586 global_step=47936, episodic_return=-234.9358367919922 global_step=48000, episodic_return=-124.07891845703125 global_step=48016, episodic_return=-152.19912719726562 global_step=48048, episodic_return=-59.03553771972656 global_step=48080, episodic_return=-63.90107727050781 global_step=48160, episodic_return=-98.49259185791016 global_step=48208, episodic_return=-112.2143325805664 global_step=48304, episodic_return=-143.1802215576172 global_step=48320, episodic_return=-108.45556640625 global_step=48496, episodic_return=-112.05648803710938 global_step=48800, episodic_return=-279.069580078125 global_step=48896, episodic_return=-202.3585968017578 global_step=49136, episodic_return=-182.21827697753906 SPS: 2851 global_step=49248, episodic_return=-64.44876098632812 global_step=49280, episodic_return=-270.71551513671875 global_step=49344, episodic_return=-126.5162353515625 global_step=49472, episodic_return=-151.42123413085938 global_step=49488, episodic_return=-83.09720611572266 global_step=49600, episodic_return=-230.57760620117188 global_step=49648, episodic_return=-111.28184509277344 global_step=49664, episodic_return=-348.7998046875 global_step=49696, episodic_return=-98.95874786376953 global_step=49728, episodic_return=-109.27423095703125 global_step=50144, episodic_return=-99.96736907958984 global_step=50288, episodic_return=-62.73655319213867 global_step=50384, episodic_return=-82.46514129638672 global_step=50480, episodic_return=-139.0931854248047 global_step=50512, episodic_return=-83.11430358886719 global_step=50576, episodic_return=-224.080810546875 global_step=50672, episodic_return=-109.43339538574219 global_step=50736, episodic_return=-56.717140197753906 global_step=51008, episodic_return=-127.66329956054688 global_step=51088, episodic_return=20.44062042236328 global_step=51152, episodic_return=-95.86444854736328 global_step=51280, episodic_return=-117.52169799804688 global_step=51344, episodic_return=-116.0826644897461 global_step=51472, episodic_return=-342.3839111328125 global_step=51600, episodic_return=-90.22714233398438 global_step=51824, episodic_return=-105.12027740478516 global_step=51856, episodic_return=-108.9175796508789 global_step=51920, episodic_return=-143.2436981201172 global_step=51968, episodic_return=-102.8271713256836 global_step=52016, episodic_return=-250.9869384765625 global_step=52144, episodic_return=-70.97882080078125 global_step=52256, episodic_return=-6.521942138671875 global_step=52352, episodic_return=-99.89262390136719 global_step=52368, episodic_return=-70.50567626953125 global_step=52416, episodic_return=-143.8590087890625 global_step=52656, episodic_return=-232.5151824951172 global_step=52992, episodic_return=-337.58709716796875 global_step=53056, episodic_return=-174.80850219726562 global_step=53232, episodic_return=-74.30274200439453 global_step=53248, episodic_return=-101.5594711303711 global_step=53376, episodic_return=-66.66543579101562 global_step=53440, episodic_return=-155.02316284179688 global_step=53456, episodic_return=-282.609375 global_step=53488, episodic_return=-35.488197326660156 global_step=53616, episodic_return=-117.30068969726562 global_step=53696, episodic_return=-154.11610412597656 global_step=53712, episodic_return=-113.5492172241211 global_step=53824, episodic_return=-77.56695556640625 global_step=53952, episodic_return=-207.04824829101562 global_step=54176, episodic_return=-74.07865905761719 global_step=54192, episodic_return=-100.65154266357422 global_step=54288, episodic_return=-152.02145385742188 global_step=54448, episodic_return=-242.4335174560547 global_step=54624, episodic_return=-88.5570297241211 global_step=54816, episodic_return=-117.57777404785156 global_step=54832, episodic_return=-112.68695068359375 global_step=54944, episodic_return=-204.88681030273438 global_step=54992, episodic_return=-112.72858428955078 global_step=55056, episodic_return=-271.8189392089844 global_step=55168, episodic_return=-207.98553466796875 global_step=55184, episodic_return=-102.44441986083984 global_step=55408, episodic_return=-78.41854095458984 global_step=55504, episodic_return=-122.93108367919922 global_step=55584, episodic_return=-99.13876342773438 global_step=55632, episodic_return=-86.81240844726562 global_step=55744, episodic_return=-117.47314453125 global_step=55936, episodic_return=-245.0399169921875 global_step=55984, episodic_return=-71.94902038574219 global_step=56016, episodic_return=-152.1762237548828 global_step=56160, episodic_return=-87.03353881835938 global_step=56192, episodic_return=-196.58578491210938 global_step=56240, episodic_return=-65.7000732421875 global_step=56272, episodic_return=-141.0791015625 global_step=56320, episodic_return=-189.3507080078125 global_step=56544, episodic_return=-82.89447021484375 global_step=56688, episodic_return=-64.06578063964844 global_step=56880, episodic_return=-326.83612060546875 global_step=57056, episodic_return=-96.32514190673828 global_step=57120, episodic_return=-119.31863403320312 global_step=57152, episodic_return=-131.774658203125 global_step=57264, episodic_return=-94.95919036865234 global_step=57280, episodic_return=-140.0576629638672 global_step=57328, episodic_return=-325.1767883300781 global_step=57360, episodic_return=-320.035400390625 global_step=57456, episodic_return=-218.38204956054688 global_step=57680, episodic_return=-143.05120849609375 global_step=57760, episodic_return=-98.85214233398438 global_step=57936, episodic_return=-66.45771789550781 global_step=57968, episodic_return=-148.989013671875 global_step=58048, episodic_return=-85.2059097290039 global_step=58288, episodic_return=-70.3458480834961 global_step=58528, episodic_return=-45.88591766357422 global_step=58608, episodic_return=-143.68939208984375 global_step=58624, episodic_return=-56.934478759765625 global_step=58688, episodic_return=-80.63658905029297 global_step=58976, episodic_return=-207.59339904785156 global_step=59056, episodic_return=-142.70623779296875 global_step=59120, episodic_return=-237.10086059570312 global_step=59264, episodic_return=-74.09895324707031 global_step=59296, episodic_return=-125.90239715576172 global_step=59328, episodic_return=-97.68492126464844 global_step=59456, episodic_return=-130.02020263671875 global_step=59536, episodic_return=-211.64065551757812 global_step=59712, episodic_return=-175.6654815673828 global_step=59744, episodic_return=-141.00547790527344 global_step=59856, episodic_return=-104.02322387695312 global_step=59872, episodic_return=-5.9594879150390625 global_step=59952, episodic_return=-97.9200439453125 global_step=60560, episodic_return=-61.67618942260742 global_step=60768, episodic_return=-100.7261734008789 global_step=60784, episodic_return=-308.034912109375 global_step=60800, episodic_return=-307.27728271484375 global_step=60864, episodic_return=1.7226791381835938 global_step=60928, episodic_return=-102.09528350830078 global_step=61008, episodic_return=-166.70169067382812 global_step=61040, episodic_return=-65.98918151855469 global_step=61072, episodic_return=-92.10697174072266 global_step=61104, episodic_return=-152.67776489257812 global_step=61120, episodic_return=-76.48524475097656 global_step=61440, episodic_return=-170.491455078125 global_step=61488, episodic_return=-34.75715637207031 global_step=61712, episodic_return=-93.24153900146484 global_step=61776, episodic_return=-310.75140380859375 global_step=61872, episodic_return=-142.8843994140625 global_step=62112, episodic_return=-83.4522705078125 global_step=62320, episodic_return=-113.5059814453125 global_step=62400, episodic_return=-110.69468688964844 global_step=62512, episodic_return=-211.28424072265625 global_step=62640, episodic_return=-8.713180541992188 global_step=62736, episodic_return=-64.41234588623047 global_step=62784, episodic_return=-234.3492431640625 global_step=62864, episodic_return=-94.2060317993164 global_step=62944, episodic_return=-136.05291748046875 global_step=63152, episodic_return=-10.774932861328125 global_step=63248, episodic_return=-176.10794067382812 global_step=63312, episodic_return=-194.3780517578125 global_step=63376, episodic_return=-104.44264221191406 global_step=63408, episodic_return=-79.04547882080078 global_step=63424, episodic_return=-187.5029296875 global_step=63616, episodic_return=-92.31033325195312 global_step=63648, episodic_return=-172.97055053710938 global_step=63792, episodic_return=-149.32687377929688 global_step=63904, episodic_return=-92.74349975585938 global_step=64032, episodic_return=-254.10391235351562 global_step=64048, episodic_return=-84.98310089111328 global_step=64272, episodic_return=-105.93533325195312 global_step=64464, episodic_return=-94.4565200805664 global_step=64512, episodic_return=-143.5196075439453 global_step=64528, episodic_return=-325.93878173828125 global_step=64704, episodic_return=-84.3670425415039 global_step=64752, episodic_return=-128.48191833496094 global_step=64976, episodic_return=-143.68214416503906 global_step=64992, episodic_return=-200.7930908203125 global_step=65024, episodic_return=-99.92162322998047 global_step=65184, episodic_return=-113.03910064697266 global_step=65248, episodic_return=-266.75823974609375 global_step=65296, episodic_return=-251.53111267089844 global_step=65408, episodic_return=-175.47332763671875 SPS: 2826 global_step=65600, episodic_return=-22.954238891601562 global_step=65664, episodic_return=-220.79843139648438 global_step=65808, episodic_return=-94.1808853149414 global_step=65840, episodic_return=-239.3444366455078 global_step=66112, episodic_return=-74.93094635009766 global_step=66192, episodic_return=-98.947998046875 global_step=66208, episodic_return=-324.7066345214844 global_step=66272, episodic_return=-68.80465698242188 global_step=66608, episodic_return=-201.67874145507812 global_step=66624, episodic_return=-141.86940002441406 global_step=66720, episodic_return=-96.85597229003906 global_step=66912, episodic_return=-105.52147674560547 global_step=66944, episodic_return=-171.18185424804688 global_step=67184, episodic_return=-404.3729553222656 global_step=67248, episodic_return=-254.88140869140625 global_step=67392, episodic_return=-228.14332580566406 global_step=67536, episodic_return=-121.00098419189453 global_step=67632, episodic_return=-145.1734161376953 global_step=67680, episodic_return=-231.04400634765625 global_step=67888, episodic_return=-283.7073059082031 global_step=68000, episodic_return=-102.82119750976562 global_step=68016, episodic_return=-235.0326385498047 global_step=68128, episodic_return=-37.154144287109375 global_step=68480, episodic_return=-161.22616577148438 global_step=68496, episodic_return=-149.48094177246094 global_step=68640, episodic_return=-107.3225326538086 global_step=68656, episodic_return=-112.01226043701172 global_step=68736, episodic_return=-75.17770385742188 global_step=68768, episodic_return=-97.28721618652344 global_step=69008, episodic_return=-53.526145935058594 global_step=69216, episodic_return=-75.25885009765625 global_step=69232, episodic_return=-42.580238342285156 global_step=69536, episodic_return=-111.83016967773438 global_step=69552, episodic_return=-86.3722915649414 global_step=69616, episodic_return=-137.96173095703125 global_step=69648, episodic_return=-135.46664428710938 global_step=69728, episodic_return=-387.4290466308594 global_step=69936, episodic_return=-68.23933410644531 global_step=70208, episodic_return=-112.07073211669922 global_step=70256, episodic_return=-168.85079956054688 global_step=70336, episodic_return=-133.18392944335938 global_step=70400, episodic_return=-154.05682373046875 global_step=70416, episodic_return=-144.06768798828125 global_step=70432, episodic_return=-229.3061981201172 global_step=70608, episodic_return=-310.3148193359375 global_step=70656, episodic_return=-57.76767349243164 global_step=70688, episodic_return=-120.2017822265625 global_step=70928, episodic_return=-120.80863952636719 global_step=71024, episodic_return=-237.5193634033203 global_step=71200, episodic_return=-109.75472259521484 global_step=71408, episodic_return=-152.2316131591797 global_step=71424, episodic_return=-52.482627868652344 global_step=71584, episodic_return=-115.5394287109375 global_step=71616, episodic_return=-62.07122802734375 global_step=71632, episodic_return=-55.561893463134766 global_step=71856, episodic_return=-233.18113708496094 global_step=71920, episodic_return=-197.87464904785156 global_step=71968, episodic_return=-198.92247009277344 global_step=72032, episodic_return=-134.36146545410156 global_step=72096, episodic_return=-129.18417358398438 global_step=72224, episodic_return=-155.34849548339844 global_step=72320, episodic_return=-223.00674438476562 global_step=72464, episodic_return=-163.6349639892578 global_step=72672, episodic_return=-171.39794921875 global_step=72768, episodic_return=-319.11236572265625 global_step=72784, episodic_return=-95.5520248413086 global_step=72944, episodic_return=-81.08465576171875 global_step=73008, episodic_return=-169.63241577148438 global_step=73136, episodic_return=-143.3330078125 global_step=73360, episodic_return=-62.954017639160156 global_step=73392, episodic_return=-24.601181030273438 global_step=73664, episodic_return=-73.616455078125 global_step=73696, episodic_return=-88.30056762695312 global_step=73792, episodic_return=-154.74586486816406 global_step=73920, episodic_return=-196.53598022460938 global_step=73936, episodic_return=-131.4642333984375 global_step=74032, episodic_return=-207.27798461914062 global_step=74080, episodic_return=-219.09469604492188 global_step=74336, episodic_return=-103.52305603027344 global_step=74384, episodic_return=-147.5009002685547 global_step=74544, episodic_return=-138.1074981689453 global_step=74560, episodic_return=-103.99015045166016 global_step=74896, episodic_return=-98.01013946533203 global_step=74912, episodic_return=-109.42998504638672 global_step=75056, episodic_return=-21.96484375 global_step=75088, episodic_return=-157.46725463867188 global_step=75136, episodic_return=-103.89115905761719 global_step=75152, episodic_return=-97.24024200439453 global_step=75168, episodic_return=-105.08775329589844 global_step=75184, episodic_return=-106.95185089111328 global_step=75200, episodic_return=-218.76071166992188 global_step=75248, episodic_return=-111.91506958007812 global_step=75472, episodic_return=-122.97203063964844 global_step=76000, episodic_return=-59.0975227355957 global_step=76160, episodic_return=-122.27115631103516 global_step=76224, episodic_return=-104.04107666015625 global_step=76240, episodic_return=-230.9318389892578 global_step=76256, episodic_return=-151.504150390625 global_step=76448, episodic_return=-48.211151123046875 global_step=76528, episodic_return=-90.54131317138672 global_step=76544, episodic_return=-63.9196662902832 global_step=76688, episodic_return=-84.64415740966797 global_step=76864, episodic_return=-104.94972229003906 global_step=76896, episodic_return=-195.4523468017578 global_step=77024, episodic_return=-134.15321350097656 global_step=77216, episodic_return=-78.96430206298828 global_step=77248, episodic_return=-90.66879272460938 global_step=77280, episodic_return=-59.579559326171875 global_step=77296, episodic_return=-88.10983276367188 global_step=77376, episodic_return=-375.2876892089844 global_step=77584, episodic_return=-137.8285675048828 global_step=77792, episodic_return=-105.77369689941406 global_step=77824, episodic_return=-97.12955474853516 global_step=77936, episodic_return=-122.8808364868164 global_step=78048, episodic_return=-122.92817687988281 global_step=78240, episodic_return=-96.29995727539062 global_step=78272, episodic_return=-108.60157012939453 global_step=78336, episodic_return=-57.377445220947266 global_step=78592, episodic_return=-112.36517333984375 global_step=78608, episodic_return=-100.92816925048828 global_step=78656, episodic_return=-70.07294464111328 global_step=78816, episodic_return=-197.54855346679688 global_step=78880, episodic_return=-343.553955078125 global_step=78976, episodic_return=-353.37744140625 global_step=79216, episodic_return=-122.76023864746094 global_step=79280, episodic_return=-170.0066375732422 global_step=79472, episodic_return=-104.57974243164062 global_step=79600, episodic_return=-87.42044830322266 global_step=79728, episodic_return=-83.19597625732422 global_step=79760, episodic_return=-156.32249450683594 global_step=79824, episodic_return=-116.1086196899414 global_step=79856, episodic_return=-106.35367584228516 global_step=79968, episodic_return=-258.84326171875 global_step=80048, episodic_return=-84.0728759765625 global_step=80096, episodic_return=-62.53388977050781 global_step=80336, episodic_return=-77.67195129394531 global_step=80384, episodic_return=7.836112976074219 global_step=80464, episodic_return=-83.375244140625 global_step=80704, episodic_return=-100.74506378173828 global_step=80768, episodic_return=-61.44087219238281 global_step=80896, episodic_return=-180.05361938476562 global_step=81008, episodic_return=-88.4519271850586 global_step=81136, episodic_return=-53.490814208984375 global_step=81456, episodic_return=-101.56339263916016 global_step=81536, episodic_return=-109.02567291259766 global_step=81664, episodic_return=-139.4998016357422 global_step=81696, episodic_return=-140.5294189453125 global_step=81920, episodic_return=-168.12286376953125 SPS: 2880 global_step=81984, episodic_return=-85.45320129394531 global_step=82032, episodic_return=-111.41307067871094 global_step=82064, episodic_return=-110.10511016845703 global_step=82208, episodic_return=-109.97032928466797 global_step=82224, episodic_return=-68.79186248779297 global_step=82304, episodic_return=-177.341064453125 global_step=82336, episodic_return=-123.24679565429688 global_step=82368, episodic_return=-168.54299926757812 global_step=82544, episodic_return=-35.79716491699219 global_step=82704, episodic_return=-108.43279266357422 global_step=82960, episodic_return=-100.82140350341797 global_step=83088, episodic_return=-89.51968383789062 global_step=83168, episodic_return=-75.65757751464844 global_step=83200, episodic_return=-66.4730224609375 global_step=83472, episodic_return=-192.85696411132812 global_step=83584, episodic_return=-119.11050415039062 global_step=83680, episodic_return=-120.63390350341797 global_step=83712, episodic_return=-55.16646957397461 global_step=83728, episodic_return=-243.08432006835938 global_step=83984, episodic_return=-124.12834167480469 global_step=84192, episodic_return=-108.01121520996094 global_step=84368, episodic_return=-143.00282287597656 global_step=84464, episodic_return=-107.15081787109375 global_step=84480, episodic_return=-177.8677520751953 global_step=84672, episodic_return=-55.29595947265625 global_step=84768, episodic_return=-118.98878479003906 global_step=84784, episodic_return=-189.81182861328125 global_step=84832, episodic_return=-132.5496826171875 global_step=84880, episodic_return=-273.74273681640625 global_step=85008, episodic_return=-63.47406005859375 global_step=85024, episodic_return=-36.41820526123047 global_step=85072, episodic_return=-115.52816772460938 global_step=85472, episodic_return=-111.86075592041016 global_step=85744, episodic_return=-271.2944030761719 global_step=85760, episodic_return=-193.84420776367188 global_step=85776, episodic_return=-250.93148803710938 global_step=85840, episodic_return=40.76582336425781 global_step=86064, episodic_return=-165.50604248046875 global_step=86192, episodic_return=-107.80650329589844 global_step=86288, episodic_return=-115.61007690429688 global_step=86496, episodic_return=-167.55157470703125 global_step=86512, episodic_return=-203.90240478515625 global_step=86592, episodic_return=-91.11048889160156 global_step=86704, episodic_return=-157.6017303466797 global_step=86784, episodic_return=-128.12918090820312 global_step=86896, episodic_return=-95.4459457397461 global_step=86944, episodic_return=-59.40263366699219 global_step=87008, episodic_return=-114.0623550415039 global_step=87136, episodic_return=-169.730712890625 global_step=87488, episodic_return=-96.73057556152344 global_step=87712, episodic_return=-132.60630798339844 global_step=87760, episodic_return=-165.5306396484375 global_step=87792, episodic_return=-102.29271697998047 global_step=87824, episodic_return=-140.13677978515625 global_step=87856, episodic_return=-227.34507751464844 global_step=87888, episodic_return=-69.69456481933594 global_step=88000, episodic_return=-89.95869445800781 global_step=88336, episodic_return=-123.65023803710938 global_step=88368, episodic_return=-121.42498779296875 global_step=88464, episodic_return=-292.4151916503906 global_step=88480, episodic_return=-35.1337890625 global_step=88640, episodic_return=-220.68890380859375 global_step=88784, episodic_return=-72.73631286621094 global_step=88864, episodic_return=-75.67749786376953 global_step=88896, episodic_return=-106.621337890625 global_step=88912, episodic_return=-97.13285827636719 global_step=89088, episodic_return=-213.74441528320312 global_step=89200, episodic_return=-95.16632080078125 global_step=89248, episodic_return=-122.6640625 global_step=89328, episodic_return=-91.72344970703125 global_step=89696, episodic_return=-129.63204956054688 global_step=89824, episodic_return=-138.82296752929688 global_step=90096, episodic_return=-132.09251403808594 global_step=90128, episodic_return=-99.02976989746094 global_step=90304, episodic_return=-153.4839324951172 global_step=90368, episodic_return=-45.910221099853516 global_step=90480, episodic_return=-96.74864196777344 global_step=90640, episodic_return=-203.1424560546875 global_step=90656, episodic_return=-263.00994873046875 global_step=90752, episodic_return=-425.614013671875 global_step=90832, episodic_return=-264.2965087890625 global_step=90896, episodic_return=-225.54306030273438 global_step=90928, episodic_return=-243.36207580566406 global_step=91024, episodic_return=-86.6968765258789 global_step=91280, episodic_return=-122.37065124511719 global_step=91408, episodic_return=-135.70199584960938 global_step=91424, episodic_return=-84.3563232421875 global_step=91488, episodic_return=-201.72525024414062 global_step=91616, episodic_return=-30.426712036132812 global_step=91712, episodic_return=-152.96011352539062 global_step=91936, episodic_return=-259.04345703125 global_step=91952, episodic_return=-94.47599792480469 global_step=92032, episodic_return=-142.53004455566406 global_step=92160, episodic_return=-57.571712493896484 global_step=92320, episodic_return=-88.03146362304688 global_step=92528, episodic_return=-40.601295471191406 global_step=92576, episodic_return=-182.40838623046875 global_step=92608, episodic_return=-252.84539794921875 global_step=92624, episodic_return=-120.139892578125 global_step=92896, episodic_return=-85.82953643798828 global_step=92912, episodic_return=-81.9558334350586 global_step=92944, episodic_return=-186.82086181640625 global_step=93456, episodic_return=-98.39089965820312 global_step=93552, episodic_return=-44.612464904785156 global_step=93584, episodic_return=-91.6207504272461 global_step=93600, episodic_return=-111.05735778808594 global_step=93616, episodic_return=-87.97010803222656 global_step=93888, episodic_return=-158.40957641601562 global_step=93920, episodic_return=-43.11527633666992 global_step=93984, episodic_return=-0.6260528564453125 global_step=94016, episodic_return=-116.78473663330078 global_step=94480, episodic_return=-263.64508056640625 global_step=94496, episodic_return=-280.36968994140625 global_step=94672, episodic_return=-57.4015007019043 global_step=94704, episodic_return=-106.27763366699219 global_step=94720, episodic_return=-184.84771728515625 global_step=94784, episodic_return=-198.94879150390625 global_step=95024, episodic_return=-53.69834899902344 global_step=95168, episodic_return=-112.61052703857422 global_step=95264, episodic_return=-129.3826141357422 global_step=95424, episodic_return=-31.721839904785156 global_step=95664, episodic_return=-268.9956359863281 global_step=95712, episodic_return=-76.69432830810547 global_step=95888, episodic_return=-169.72134399414062 global_step=95904, episodic_return=-83.4035873413086 global_step=95968, episodic_return=-88.08148956298828 global_step=95984, episodic_return=-237.90203857421875 global_step=96448, episodic_return=-112.13739013671875 global_step=96640, episodic_return=-106.14445495605469 global_step=96688, episodic_return=-81.1348876953125 global_step=96704, episodic_return=-139.81039428710938 global_step=96752, episodic_return=-136.80792236328125 global_step=97024, episodic_return=-298.0902099609375 global_step=97120, episodic_return=-90.30359649658203 global_step=97184, episodic_return=-123.95661926269531 global_step=97360, episodic_return=-83.82042694091797 global_step=97504, episodic_return=-60.145729064941406 global_step=97728, episodic_return=-70.45932006835938 global_step=97808, episodic_return=-74.57378387451172 global_step=97920, episodic_return=-85.41744995117188 global_step=98064, episodic_return=-76.42781066894531 global_step=98128, episodic_return=-143.88052368164062 global_step=98176, episodic_return=-191.21951293945312 SPS: 2852 global_step=98464, episodic_return=-143.4915771484375 global_step=98512, episodic_return=-177.48049926757812 global_step=98528, episodic_return=-167.0027313232422 global_step=98592, episodic_return=-117.12528228759766 global_step=98720, episodic_return=-153.56907653808594 global_step=98848, episodic_return=-182.33053588867188 global_step=98992, episodic_return=-298.118408203125 global_step=99184, episodic_return=-179.26876831054688 global_step=99312, episodic_return=15.389419555664062 global_step=99632, episodic_return=-93.9904556274414 global_step=99664, episodic_return=-77.93705749511719 global_step=99680, episodic_return=-147.71759033203125 global_step=99824, episodic_return=-99.15647888183594 global_step=100080, episodic_return=-72.65625 global_step=100128, episodic_return=-192.52606201171875 global_step=100480, episodic_return=-76.3912353515625 global_step=100512, episodic_return=-143.36819458007812 global_step=100592, episodic_return=-194.57521057128906 global_step=100784, episodic_return=-108.38232421875 global_step=100912, episodic_return=-92.44136810302734 global_step=100944, episodic_return=-47.01177215576172 global_step=101040, episodic_return=-107.94733428955078 global_step=101056, episodic_return=-93.66804504394531 global_step=101264, episodic_return=-93.94831848144531 global_step=101280, episodic_return=-95.38228607177734 global_step=101456, episodic_return=-110.90615844726562 global_step=101488, episodic_return=-188.37814331054688 global_step=101600, episodic_return=-75.00717163085938 global_step=101680, episodic_return=-166.27236938476562 global_step=101744, episodic_return=-122.09988403320312 global_step=102160, episodic_return=-188.39732360839844 global_step=102176, episodic_return=-66.82479095458984 global_step=102432, episodic_return=-34.61939239501953 global_step=102496, episodic_return=-108.5254898071289 global_step=102624, episodic_return=-68.40158081054688 global_step=102992, episodic_return=-192.40365600585938 global_step=103056, episodic_return=-93.71488952636719 global_step=103200, episodic_return=-126.00282287597656 global_step=103232, episodic_return=-110.2060546875 global_step=103376, episodic_return=-109.11590576171875 global_step=103488, episodic_return=-47.198020935058594 global_step=103600, episodic_return=-97.72533416748047 global_step=103760, episodic_return=-81.06314086914062 global_step=103792, episodic_return=-229.80801391601562 global_step=103840, episodic_return=-64.37423706054688 global_step=103904, episodic_return=-131.8579559326172 global_step=104032, episodic_return=-282.3642578125 global_step=104192, episodic_return=-129.6329803466797 global_step=104528, episodic_return=-81.58621978759766 global_step=104768, episodic_return=-80.16496276855469 global_step=105056, episodic_return=32.82466125488281 global_step=105120, episodic_return=-144.5077362060547 global_step=105136, episodic_return=-192.22430419921875 global_step=105248, episodic_return=-225.20037841796875 global_step=105264, episodic_return=-84.03392028808594 global_step=105344, episodic_return=-101.4920425415039 global_step=105472, episodic_return=-97.68946838378906 global_step=105568, episodic_return=-127.54721069335938 global_step=105664, episodic_return=-186.35565185546875 global_step=105696, episodic_return=-74.66793823242188 global_step=105712, episodic_return=-341.0450744628906 global_step=105792, episodic_return=-46.9444580078125 global_step=106080, episodic_return=-67.47457122802734 global_step=106336, episodic_return=-119.76990509033203 global_step=106368, episodic_return=-84.71832275390625 global_step=106496, episodic_return=-95.01868438720703 global_step=106528, episodic_return=-71.24113464355469 global_step=106688, episodic_return=-114.9378662109375 global_step=106784, episodic_return=-61.746910095214844 global_step=106800, episodic_return=-124.50837707519531 global_step=106848, episodic_return=-124.95883178710938 global_step=106944, episodic_return=-85.37550354003906 global_step=107088, episodic_return=-171.5211181640625 global_step=107184, episodic_return=-96.89714813232422 global_step=107216, episodic_return=-183.61537170410156 global_step=107440, episodic_return=-60.2236213684082 global_step=107616, episodic_return=-77.45207214355469 global_step=107744, episodic_return=-287.93548583984375 global_step=107792, episodic_return=-89.03709411621094 global_step=107840, episodic_return=-107.07772064208984 global_step=107968, episodic_return=-102.40205383300781 global_step=108096, episodic_return=-38.17646789550781 global_step=108272, episodic_return=-92.9581527709961 global_step=108320, episodic_return=-100.0304183959961 global_step=108496, episodic_return=-60.803585052490234 global_step=108624, episodic_return=-214.8091583251953 global_step=108640, episodic_return=-121.91508483886719 global_step=108928, episodic_return=-164.34295654296875 global_step=108992, episodic_return=-65.75822448730469 global_step=109088, episodic_return=-68.78034973144531 global_step=109248, episodic_return=-206.8248291015625 global_step=109296, episodic_return=-92.97642517089844 global_step=109456, episodic_return=-88.30032348632812 global_step=109504, episodic_return=-66.84024047851562 global_step=109680, episodic_return=-139.1471710205078 global_step=109696, episodic_return=-165.10614013671875 global_step=109760, episodic_return=-46.24433517456055 global_step=109920, episodic_return=-38.93815231323242 global_step=110016, episodic_return=-279.925537109375 global_step=110224, episodic_return=-76.27520751953125 global_step=110560, episodic_return=-207.81588745117188 global_step=110576, episodic_return=-1.5190505981445312 global_step=110704, episodic_return=-207.9426727294922 global_step=110752, episodic_return=-446.9657897949219 global_step=110880, episodic_return=-87.09640502929688 global_step=110896, episodic_return=-59.60082244873047 global_step=110992, episodic_return=-336.34967041015625 global_step=111024, episodic_return=-26.0224609375 global_step=111296, episodic_return=-196.85891723632812 global_step=111584, episodic_return=-132.0959930419922 global_step=111664, episodic_return=-171.9686279296875 global_step=111712, episodic_return=-48.15460968017578 global_step=111808, episodic_return=-77.40128326416016 global_step=111920, episodic_return=-94.77741241455078 global_step=112048, episodic_return=-68.06561279296875 global_step=112320, episodic_return=15.870338439941406 global_step=112384, episodic_return=-307.24658203125 global_step=112720, episodic_return=-106.89212799072266 global_step=112736, episodic_return=-157.08155822753906 global_step=112784, episodic_return=-123.46568298339844 global_step=112848, episodic_return=-271.316650390625 global_step=113168, episodic_return=-279.8385009765625 global_step=113280, episodic_return=-94.25106048583984 global_step=113296, episodic_return=-61.296485900878906 global_step=113392, episodic_return=-76.9971694946289 global_step=113472, episodic_return=-147.49757385253906 global_step=113584, episodic_return=-22.756492614746094 global_step=113936, episodic_return=-110.38553619384766 global_step=114128, episodic_return=-105.56426239013672 global_step=114176, episodic_return=-68.12049865722656 global_step=114208, episodic_return=-102.91523742675781 global_step=114256, episodic_return=-127.17504119873047 global_step=114384, episodic_return=-31.982254028320312 global_step=114416, episodic_return=-73.29624938964844 global_step=114672, episodic_return=-80.31977844238281 SPS: 2872 global_step=114736, episodic_return=-112.08781433105469 global_step=114800, episodic_return=-89.47396850585938 global_step=114848, episodic_return=-114.78707885742188 global_step=115056, episodic_return=-289.30035400390625 global_step=115120, episodic_return=-118.05792236328125 global_step=115328, episodic_return=-167.37545776367188 global_step=115616, episodic_return=-54.45070266723633 global_step=115840, episodic_return=-59.16305160522461 global_step=116144, episodic_return=-71.61246490478516 global_step=116160, episodic_return=-33.90168762207031 global_step=116256, episodic_return=-96.30657958984375 global_step=116272, episodic_return=-105.19062042236328 global_step=116384, episodic_return=-132.67750549316406 global_step=116528, episodic_return=-141.89007568359375 global_step=116720, episodic_return=-85.43657684326172 global_step=116768, episodic_return=-79.60818481445312 global_step=116784, episodic_return=30.219833374023438 global_step=116832, episodic_return=-120.12047576904297 global_step=116880, episodic_return=-78.08889770507812 global_step=116896, episodic_return=-103.0084457397461 global_step=116992, episodic_return=-67.5914535522461 global_step=117424, episodic_return=-55.167518615722656 global_step=117616, episodic_return=-54.025238037109375 global_step=117680, episodic_return=-59.479339599609375 global_step=117792, episodic_return=-93.78150939941406 global_step=117936, episodic_return=-104.79776763916016 global_step=117968, episodic_return=-88.47103118896484 global_step=118144, episodic_return=-85.9410629272461 global_step=118256, episodic_return=-34.74322509765625 global_step=118384, episodic_return=-94.38510131835938 global_step=118576, episodic_return=-89.80239868164062 global_step=118624, episodic_return=-81.52912902832031 global_step=119008, episodic_return=-84.30610656738281 global_step=119136, episodic_return=-311.2622985839844 global_step=119312, episodic_return=-115.6257553100586 global_step=119376, episodic_return=-371.1954650878906 global_step=119472, episodic_return=-123.73160552978516 global_step=119552, episodic_return=-72.54663848876953 global_step=119568, episodic_return=-88.75650787353516 global_step=119904, episodic_return=-144.60653686523438 global_step=119952, episodic_return=-77.43064880371094 global_step=120064, episodic_return=-85.56304931640625 global_step=120384, episodic_return=-175.14517211914062 global_step=120480, episodic_return=-145.29571533203125 global_step=120496, episodic_return=-181.445068359375 global_step=120512, episodic_return=-45.48039245605469 global_step=120544, episodic_return=-93.27769470214844 global_step=120624, episodic_return=-93.50391387939453 global_step=120800, episodic_return=-155.6197967529297 global_step=120864, episodic_return=-54.40827560424805 global_step=121264, episodic_return=-65.36885833740234 global_step=121280, episodic_return=-137.0612030029297 global_step=121632, episodic_return=-72.52271270751953 global_step=121648, episodic_return=-51.567893981933594 global_step=121680, episodic_return=-298.713134765625 global_step=121712, episodic_return=-161.91885375976562 global_step=121936, episodic_return=-250.0646514892578 global_step=122048, episodic_return=-78.55248260498047 global_step=122160, episodic_return=-102.64019775390625 global_step=122176, episodic_return=-176.774169921875 global_step=122432, episodic_return=-122.89266967773438 global_step=122512, episodic_return=-99.81489562988281 global_step=122848, episodic_return=-214.63357543945312 global_step=122928, episodic_return=-103.92411804199219 global_step=123024, episodic_return=-221.51766967773438 global_step=123152, episodic_return=-293.79254150390625 global_step=123344, episodic_return=-112.64378356933594 global_step=123376, episodic_return=-242.32131958007812 global_step=123408, episodic_return=-44.23206329345703 global_step=123520, episodic_return=-133.65487670898438 global_step=123552, episodic_return=-325.091064453125 global_step=123632, episodic_return=-71.23261260986328 global_step=123648, episodic_return=-47.65476989746094 global_step=124160, episodic_return=-116.22224426269531 global_step=124224, episodic_return=-74.93569946289062 global_step=124384, episodic_return=-188.6688232421875 global_step=124416, episodic_return=-88.03242492675781 global_step=124528, episodic_return=-320.4661865234375 global_step=124624, episodic_return=-83.09255981445312 global_step=124720, episodic_return=-102.79136657714844 global_step=124960, episodic_return=-52.69219970703125 global_step=124992, episodic_return=-105.3044662475586 global_step=125008, episodic_return=-92.12261199951172 global_step=125104, episodic_return=-70.62342834472656 global_step=125120, episodic_return=-229.48353576660156 global_step=125280, episodic_return=-65.87908935546875 global_step=125616, episodic_return=-56.61167907714844 global_step=125872, episodic_return=-75.7724609375 global_step=125888, episodic_return=-71.443359375 global_step=126016, episodic_return=-158.14047241210938 global_step=126064, episodic_return=-268.520751953125 global_step=126384, episodic_return=-121.21399688720703 global_step=126512, episodic_return=-85.55914306640625 global_step=126672, episodic_return=-73.9053955078125 global_step=126800, episodic_return=-17.875457763671875 global_step=126832, episodic_return=-123.6707763671875 global_step=126976, episodic_return=-215.4735107421875 global_step=126992, episodic_return=-58.3580322265625 global_step=127024, episodic_return=-164.54684448242188 global_step=127136, episodic_return=-125.40989685058594 global_step=127232, episodic_return=-32.960723876953125 global_step=127424, episodic_return=-134.99478149414062 global_step=127456, episodic_return=-125.56455993652344 global_step=127600, episodic_return=-92.02445220947266 global_step=127744, episodic_return=-74.40511322021484 global_step=127888, episodic_return=-16.894371032714844 global_step=127904, episodic_return=-203.6840057373047 global_step=128016, episodic_return=-169.41378784179688 global_step=128128, episodic_return=-136.099609375 global_step=128304, episodic_return=-91.6524658203125 global_step=128448, episodic_return=-83.63606262207031 global_step=128592, episodic_return=-46.436153411865234 global_step=128752, episodic_return=-259.78533935546875 global_step=128800, episodic_return=-88.61849212646484 global_step=128928, episodic_return=-197.40301513671875 global_step=129072, episodic_return=-87.64781188964844 global_step=129152, episodic_return=-113.30696105957031 global_step=129248, episodic_return=-56.46382522583008 global_step=129360, episodic_return=-366.5552673339844 global_step=129552, episodic_return=-107.72282409667969 global_step=129696, episodic_return=-28.998435974121094 global_step=129792, episodic_return=-237.3047332763672 global_step=129840, episodic_return=-51.167545318603516 global_step=129904, episodic_return=-247.14437866210938 global_step=130208, episodic_return=-70.61824798583984 global_step=130464, episodic_return=-21.89893341064453 global_step=130480, episodic_return=-322.68798828125 global_step=130688, episodic_return=-70.45980834960938 global_step=130800, episodic_return=-16.009727478027344 global_step=131008, episodic_return=-161.8278045654297 SPS: 2803 global_step=131200, episodic_return=-118.87211608886719 global_step=131264, episodic_return=-182.69346618652344 global_step=131312, episodic_return=-141.31930541992188 global_step=131360, episodic_return=-128.0305938720703 global_step=131456, episodic_return=-226.1937255859375 global_step=131680, episodic_return=-42.45321273803711 global_step=131792, episodic_return=-148.84255981445312 global_step=131872, episodic_return=-40.361785888671875 global_step=132304, episodic_return=-150.3277587890625 global_step=132368, episodic_return=-244.19479370117188 global_step=132432, episodic_return=-39.28373336791992 global_step=132592, episodic_return=-181.22024536132812 global_step=132784, episodic_return=-153.64813232421875 global_step=132832, episodic_return=-94.61735534667969 global_step=132928, episodic_return=-14.851104736328125 global_step=133088, episodic_return=-98.36360931396484 global_step=133280, episodic_return=-179.467529296875 global_step=133344, episodic_return=-77.95018768310547 global_step=133440, episodic_return=-144.842529296875 global_step=133632, episodic_return=-116.95832824707031 global_step=133776, episodic_return=-323.27740478515625 global_step=133920, episodic_return=-225.11033630371094 global_step=134064, episodic_return=-49.70480728149414 global_step=134096, episodic_return=-72.84139251708984 global_step=134176, episodic_return=-81.1904296875 global_step=134224, episodic_return=-66.71237182617188 global_step=134384, episodic_return=-153.0008544921875 global_step=135008, episodic_return=-33.007850646972656 global_step=135136, episodic_return=-198.8505859375 global_step=135168, episodic_return=-54.81460189819336 global_step=135232, episodic_return=-33.42890930175781 global_step=135328, episodic_return=-103.63409423828125 global_step=135456, episodic_return=-199.80343627929688 global_step=135488, episodic_return=-70.98579406738281 global_step=135584, episodic_return=-52.34556198120117 global_step=135872, episodic_return=-93.01929473876953 global_step=136000, episodic_return=-295.11865234375 global_step=136144, episodic_return=11.866905212402344 global_step=136464, episodic_return=-119.18041229248047 global_step=136576, episodic_return=-242.21607971191406 global_step=136656, episodic_return=-85.41156005859375 global_step=136800, episodic_return=-109.69514465332031 global_step=137104, episodic_return=-57.306114196777344 global_step=137136, episodic_return=-13.611381530761719 global_step=137216, episodic_return=-70.68586730957031 global_step=137232, episodic_return=-121.123291015625 global_step=137408, episodic_return=-250.3692626953125 global_step=137456, episodic_return=-40.24879455566406 global_step=138048, episodic_return=42.83314514160156 global_step=138064, episodic_return=-186.7920684814453 global_step=138368, episodic_return=-247.39479064941406 global_step=138400, episodic_return=-64.27752685546875 global_step=138576, episodic_return=-83.83867645263672 global_step=138592, episodic_return=-160.30435180664062 global_step=138768, episodic_return=-188.50234985351562 global_step=138896, episodic_return=-124.236083984375 global_step=138928, episodic_return=-144.63983154296875 global_step=138960, episodic_return=-130.1444091796875 global_step=139120, episodic_return=-87.33280181884766 global_step=139184, episodic_return=-179.83966064453125 global_step=139280, episodic_return=-232.47793579101562 global_step=139632, episodic_return=-93.44356536865234 global_step=139648, episodic_return=-364.0935974121094 global_step=139728, episodic_return=-78.65022277832031 global_step=139792, episodic_return=-185.5667724609375 global_step=139856, episodic_return=-200.6505126953125 global_step=140176, episodic_return=-195.64468383789062 global_step=140320, episodic_return=-23.410598754882812 global_step=140352, episodic_return=-50.20690155029297 global_step=140704, episodic_return=-148.17515563964844 global_step=140816, episodic_return=-47.121517181396484 global_step=140912, episodic_return=-22.042152404785156 global_step=140960, episodic_return=-79.9524917602539 global_step=141040, episodic_return=-65.46083068847656 global_step=141072, episodic_return=-32.333648681640625 global_step=141184, episodic_return=-58.23427200317383 global_step=141296, episodic_return=-113.96981048583984 global_step=141328, episodic_return=-144.2025146484375 global_step=141408, episodic_return=-106.04329681396484 global_step=141664, episodic_return=-66.22538757324219 global_step=142144, episodic_return=-136.1774139404297 global_step=142176, episodic_return=-132.7376708984375 global_step=142448, episodic_return=-173.35565185546875 global_step=142480, episodic_return=-99.84635162353516 global_step=142720, episodic_return=6.950340270996094 global_step=142752, episodic_return=48.93656921386719 global_step=142768, episodic_return=-71.28123474121094 global_step=142848, episodic_return=-45.942237854003906 global_step=142912, episodic_return=-45.540321350097656 global_step=142928, episodic_return=-42.11904525756836 global_step=143024, episodic_return=-67.8901138305664 global_step=143088, episodic_return=-63.36871337890625 global_step=143200, episodic_return=-141.108154296875 global_step=143264, episodic_return=-186.48529052734375 global_step=143792, episodic_return=-16.132614135742188 global_step=144256, episodic_return=4.0372314453125 global_step=144288, episodic_return=-68.99717712402344 global_step=144336, episodic_return=-87.79119873046875 global_step=144400, episodic_return=-72.99508666992188 global_step=144416, episodic_return=-110.2103271484375 global_step=144496, episodic_return=-152.87338256835938 global_step=144896, episodic_return=-31.11029815673828 global_step=144976, episodic_return=-98.5418472290039 global_step=145008, episodic_return=-258.8532409667969 global_step=145104, episodic_return=-73.77215576171875 global_step=145248, episodic_return=-215.28817749023438 global_step=145344, episodic_return=-286.57916259765625 global_step=145472, episodic_return=-42.46837615966797 global_step=145776, episodic_return=-49.48389434814453 global_step=145904, episodic_return=-118.23046875 global_step=146064, episodic_return=-10.347343444824219 global_step=146240, episodic_return=-127.38800811767578 global_step=146400, episodic_return=-236.47991943359375 global_step=146416, episodic_return=-76.43496704101562 global_step=146576, episodic_return=-25.438095092773438 global_step=146704, episodic_return=0.7275848388671875 global_step=146960, episodic_return=-22.604339599609375 global_step=147072, episodic_return=-38.3499755859375 global_step=147120, episodic_return=-97.49711608886719 global_step=147200, episodic_return=-110.98003387451172 global_step=147312, episodic_return=-195.0994415283203 global_step=147344, episodic_return=-177.96585083007812 global_step=147376, episodic_return=-71.45201110839844 global_step=147408, episodic_return=-221.063720703125 global_step=147456, episodic_return=-85.8566665649414 SPS: 2809 global_step=147536, episodic_return=-63.70112228393555 global_step=147936, episodic_return=-68.55187225341797 global_step=148272, episodic_return=-59.67253112792969 global_step=148384, episodic_return=-83.74229431152344 global_step=148704, episodic_return=-120.50892639160156 global_step=148832, episodic_return=5.737266540527344 global_step=148848, episodic_return=1.6502914428710938 global_step=149024, episodic_return=-27.661766052246094 global_step=149136, episodic_return=-143.758056640625 global_step=149152, episodic_return=-190.96893310546875 global_step=149200, episodic_return=-86.3876953125 global_step=149280, episodic_return=-112.52377319335938 global_step=149632, episodic_return=-36.065673828125 global_step=150112, episodic_return=-43.03274917602539 global_step=150192, episodic_return=-34.847328186035156 global_step=150208, episodic_return=-122.7464828491211 global_step=150272, episodic_return=-242.3608856201172 global_step=150304, episodic_return=-297.50408935546875 global_step=150352, episodic_return=-21.966209411621094 global_step=150464, episodic_return=-188.47265625 global_step=150544, episodic_return=-108.64701080322266 global_step=150592, episodic_return=-55.06584548950195 global_step=150912, episodic_return=-89.11565399169922 global_step=151200, episodic_return=-115.99549865722656 global_step=151408, episodic_return=-76.22354125976562 global_step=151456, episodic_return=-211.38436889648438 global_step=151520, episodic_return=-127.19512939453125 global_step=151728, episodic_return=-62.01025390625 global_step=151824, episodic_return=-262.39813232421875 global_step=152272, episodic_return=-246.98536682128906 global_step=152368, episodic_return=-261.48712158203125 global_step=152464, episodic_return=-26.665313720703125 global_step=152640, episodic_return=-37.60082244873047 global_step=152688, episodic_return=-33.32588195800781 global_step=152704, episodic_return=-150.9119110107422 global_step=152736, episodic_return=-144.7298126220703 global_step=152992, episodic_return=7.539085388183594 global_step=153072, episodic_return=-209.55792236328125 global_step=153216, episodic_return=-74.53854370117188 global_step=153264, episodic_return=-228.5473175048828 global_step=153760, episodic_return=-62.07472229003906 global_step=153792, episodic_return=-112.79913330078125 global_step=153824, episodic_return=-99.35376739501953 global_step=153936, episodic_return=-209.6971435546875 global_step=154048, episodic_return=-204.7674560546875 global_step=154400, episodic_return=-34.4561767578125 global_step=154448, episodic_return=-35.935462951660156 global_step=154608, episodic_return=-24.346343994140625 global_step=154624, episodic_return=-72.61827087402344 global_step=154688, episodic_return=-12.196578979492188 global_step=154736, episodic_return=-92.02117156982422 global_step=155120, episodic_return=-6.38238525390625 global_step=155664, episodic_return=-99.7789535522461 global_step=155696, episodic_return=-121.28448486328125 global_step=155904, episodic_return=-269.53277587890625 global_step=155968, episodic_return=-56.12643814086914 global_step=156112, episodic_return=-102.1948013305664 global_step=156160, episodic_return=-322.96990966796875 global_step=156320, episodic_return=-134.77322387695312 global_step=156432, episodic_return=-109.26614379882812 global_step=156464, episodic_return=-70.26398468017578 global_step=156480, episodic_return=3.0272369384765625 global_step=157248, episodic_return=-50.79450607299805 global_step=157296, episodic_return=-35.11322784423828 global_step=157456, episodic_return=-106.79391479492188 global_step=157584, episodic_return=-54.54743576049805 global_step=157728, episodic_return=-67.81611633300781 global_step=157760, episodic_return=-138.64398193359375 global_step=157792, episodic_return=-49.89476013183594 global_step=157872, episodic_return=-54.08879852294922 global_step=157936, episodic_return=-142.63262939453125 global_step=158064, episodic_return=-85.77545928955078 global_step=158112, episodic_return=-57.0729866027832 global_step=158128, episodic_return=-106.41785430908203 global_step=158544, episodic_return=-76.32026672363281 global_step=158640, episodic_return=-42.88370132446289 global_step=158720, episodic_return=-32.097694396972656 global_step=159056, episodic_return=-142.87451171875 global_step=159152, episodic_return=-45.71391296386719 global_step=159488, episodic_return=-117.12640380859375 global_step=159712, episodic_return=-12.897254943847656 global_step=159920, episodic_return=-179.90301513671875 global_step=159984, episodic_return=-300.3404541015625 global_step=160256, episodic_return=-19.230430603027344 global_step=160304, episodic_return=-78.78065490722656 global_step=160448, episodic_return=-6.143775939941406 global_step=160624, episodic_return=-186.16827392578125 global_step=160640, episodic_return=-114.81349182128906 global_step=160944, episodic_return=-43.51865768432617 global_step=161088, episodic_return=-333.2040100097656 global_step=161152, episodic_return=-103.26704406738281 global_step=161568, episodic_return=-157.35520935058594 global_step=161696, episodic_return=-99.5916748046875 global_step=161840, episodic_return=-26.93334197998047 global_step=161936, episodic_return=-79.50624084472656 global_step=162224, episodic_return=-203.05331420898438 global_step=162480, episodic_return=-105.00086212158203 global_step=162608, episodic_return=-86.7667465209961 global_step=162640, episodic_return=-82.05516052246094 global_step=162672, episodic_return=-52.14158248901367 global_step=162768, episodic_return=-209.6595458984375 global_step=162848, episodic_return=-55.06477737426758 global_step=162912, episodic_return=-302.09625244140625 global_step=163056, episodic_return=-78.96961975097656 global_step=163088, episodic_return=-57.104190826416016 global_step=163328, episodic_return=-277.076416015625 global_step=163408, episodic_return=-239.53964233398438 global_step=163680, episodic_return=-198.89581298828125 global_step=163760, episodic_return=-22.779800415039062 SPS: 2772 global_step=163936, episodic_return=-228.0232391357422 global_step=164096, episodic_return=-181.7106475830078 global_step=164176, episodic_return=-26.113426208496094 global_step=164272, episodic_return=-129.92727661132812 global_step=164592, episodic_return=-94.22000122070312 global_step=164944, episodic_return=-59.562095642089844 global_step=165424, episodic_return=-7.23388671875 global_step=165456, episodic_return=4.234107971191406 global_step=165536, episodic_return=-194.96380615234375 global_step=165792, episodic_return=-34.545265197753906 global_step=165856, episodic_return=-4.3826904296875 global_step=165904, episodic_return=-245.3877716064453 global_step=166000, episodic_return=-40.06401824951172 global_step=166224, episodic_return=-162.53341674804688 global_step=166352, episodic_return=-121.11783599853516 global_step=166544, episodic_return=-109.2413101196289 global_step=166704, episodic_return=-28.635719299316406 global_step=167104, episodic_return=-68.89777374267578 global_step=167168, episodic_return=-288.1796875 global_step=167184, episodic_return=3.6697463989257812 global_step=167296, episodic_return=-190.5930938720703 global_step=167376, episodic_return=-69.59901428222656 global_step=167408, episodic_return=-83.15315246582031 global_step=167488, episodic_return=-84.99907684326172 global_step=167728, episodic_return=-177.49462890625 global_step=167776, episodic_return=-38.18891525268555 global_step=167952, episodic_return=-169.88497924804688 global_step=168544, episodic_return=-122.7459487915039 global_step=168736, episodic_return=17.789833068847656 global_step=168864, episodic_return=-44.582698822021484 global_step=169280, episodic_return=-111.92574310302734 global_step=169440, episodic_return=-131.23617553710938 global_step=169520, episodic_return=-262.4642028808594 global_step=169584, episodic_return=-37.12197494506836 global_step=169616, episodic_return=-37.99795150756836 global_step=169776, episodic_return=-104.90348815917969 global_step=170000, episodic_return=-67.01248931884766 global_step=170016, episodic_return=-97.78437805175781 global_step=170128, episodic_return=-114.32877349853516 global_step=170448, episodic_return=-13.9534912109375 global_step=170512, episodic_return=-59.51499557495117 global_step=170784, episodic_return=-111.84866333007812 global_step=170992, episodic_return=-56.434600830078125 global_step=171072, episodic_return=-57.71073532104492 global_step=171168, episodic_return=-96.95004272460938 global_step=171232, episodic_return=-84.88739776611328 global_step=171360, episodic_return=-182.19166564941406 global_step=171376, episodic_return=-485.529296875 global_step=171488, episodic_return=-28.382484436035156 global_step=171600, episodic_return=-81.25515747070312 global_step=171680, episodic_return=-156.61004638671875 global_step=171792, episodic_return=-103.21591186523438 global_step=171808, episodic_return=-5.393882751464844 global_step=172080, episodic_return=-46.904361724853516 global_step=172416, episodic_return=-95.80262756347656 global_step=172832, episodic_return=-155.505859375 global_step=172944, episodic_return=-39.26785659790039 global_step=173024, episodic_return=-44.57486343383789 global_step=173152, episodic_return=-200.74903869628906 global_step=173600, episodic_return=-344.91729736328125 global_step=173792, episodic_return=-106.37960052490234 global_step=173824, episodic_return=-92.36683654785156 global_step=173888, episodic_return=-246.28793334960938 global_step=173952, episodic_return=-235.30340576171875 global_step=174064, episodic_return=-165.9676971435547 global_step=174192, episodic_return=-163.94683837890625 global_step=174480, episodic_return=-153.3596649169922 global_step=174592, episodic_return=-139.70315551757812 global_step=174928, episodic_return=-51.82952880859375 global_step=175136, episodic_return=-46.71396255493164 global_step=175152, episodic_return=-251.49884033203125 global_step=175312, episodic_return=-58.77878189086914 global_step=175360, episodic_return=-200.51931762695312 global_step=175680, episodic_return=-51.183353424072266 global_step=175728, episodic_return=-140.68649291992188 global_step=175776, episodic_return=-97.66644287109375 global_step=175808, episodic_return=-85.72733306884766 global_step=176048, episodic_return=-58.88067626953125 global_step=176080, episodic_return=-65.84173583984375 global_step=176144, episodic_return=-93.44046783447266 global_step=176240, episodic_return=-176.82492065429688 global_step=176576, episodic_return=-150.887939453125 global_step=176944, episodic_return=-299.5595397949219 global_step=177056, episodic_return=-110.93439483642578 global_step=177152, episodic_return=-114.62434387207031 global_step=177280, episodic_return=-58.734397888183594 global_step=177408, episodic_return=-16.86821746826172 global_step=177472, episodic_return=-115.2102279663086 global_step=177488, episodic_return=-94.17305755615234 global_step=177520, episodic_return=-93.78945922851562 global_step=177664, episodic_return=-303.3213195800781 global_step=177712, episodic_return=-58.6309700012207 global_step=177728, episodic_return=-145.6881103515625 global_step=177792, episodic_return=-182.92880249023438 global_step=178320, episodic_return=-116.74470520019531 global_step=178640, episodic_return=-32.28887176513672 global_step=178976, episodic_return=-212.16567993164062 global_step=179008, episodic_return=-93.38824462890625 global_step=179168, episodic_return=-72.0250244140625 global_step=179200, episodic_return=9.532814025878906 global_step=179312, episodic_return=-108.16410064697266 global_step=179376, episodic_return=-74.093505859375 global_step=179616, episodic_return=-145.00453186035156 global_step=179648, episodic_return=-37.175140380859375 global_step=179936, episodic_return=-140.02317810058594 global_step=179968, episodic_return=-356.4216003417969 global_step=180016, episodic_return=-73.52936553955078 global_step=180128, episodic_return=-331.919677734375 SPS: 2763 global_step=180256, episodic_return=-191.05328369140625 global_step=181232, episodic_return=-86.57081604003906 global_step=181280, episodic_return=-134.0537109375 global_step=181440, episodic_return=-74.95410919189453 global_step=181456, episodic_return=-88.31541442871094 global_step=181696, episodic_return=20.268203735351562 global_step=181776, episodic_return=-59.237457275390625 global_step=181792, episodic_return=26.590225219726562 global_step=182064, episodic_return=-59.88731384277344 global_step=182208, episodic_return=-73.88138580322266 global_step=182256, episodic_return=-50.2046012878418 global_step=182288, episodic_return=-78.28406524658203 global_step=182400, episodic_return=-40.24335479736328 global_step=182816, episodic_return=-440.56207275390625 global_step=183104, episodic_return=-80.21900939941406 global_step=183152, episodic_return=-246.0552978515625 global_step=183344, episodic_return=-14.881294250488281 global_step=183440, episodic_return=-256.1371154785156 global_step=183472, episodic_return=-46.35490798950195 global_step=183872, episodic_return=-61.007972717285156 global_step=184032, episodic_return=-25.08466339111328 global_step=184304, episodic_return=-75.41253662109375 global_step=184432, episodic_return=-45.45888900756836 global_step=184448, episodic_return=10.453727722167969 global_step=185056, episodic_return=-148.379638671875 global_step=185152, episodic_return=-23.207916259765625 global_step=185568, episodic_return=-78.86548614501953 global_step=185728, episodic_return=-35.40142059326172 global_step=185744, episodic_return=-296.9556884765625 global_step=185936, episodic_return=-246.96414184570312 global_step=186064, episodic_return=-19.24976348876953 global_step=186176, episodic_return=-29.38410186767578 global_step=186240, episodic_return=-64.56763458251953 global_step=186432, episodic_return=-235.4443817138672 global_step=186480, episodic_return=-89.58887481689453 global_step=186720, episodic_return=-112.35577392578125 global_step=186736, episodic_return=-95.35824584960938 global_step=187520, episodic_return=-43.033714294433594 global_step=187776, episodic_return=-25.9244384765625 global_step=187904, episodic_return=-68.10523986816406 global_step=188048, episodic_return=-163.10336303710938 global_step=188176, episodic_return=-247.1811065673828 global_step=188304, episodic_return=-375.95587158203125 global_step=188624, episodic_return=-198.73069763183594 global_step=188944, episodic_return=-340.09619140625 global_step=189008, episodic_return=-52.12344741821289 global_step=189072, episodic_return=-72.13878631591797 global_step=189184, episodic_return=-288.26739501953125 global_step=189360, episodic_return=-230.32546997070312 global_step=189376, episodic_return=-124.82100677490234 global_step=189728, episodic_return=-49.10320281982422 global_step=189840, episodic_return=-219.4606475830078 global_step=189856, episodic_return=-178.95346069335938 global_step=190016, episodic_return=-25.036666870117188 global_step=190192, episodic_return=-46.46613693237305 global_step=190208, episodic_return=-69.58917236328125 global_step=190640, episodic_return=-105.7846908569336 global_step=190704, episodic_return=-107.13525390625 global_step=190736, episodic_return=-94.61485290527344 global_step=191088, episodic_return=-183.25494384765625 global_step=191120, episodic_return=2.62274169921875 global_step=191376, episodic_return=10.521026611328125 global_step=191872, episodic_return=-30.528480529785156 global_step=192016, episodic_return=-218.98214721679688 global_step=192080, episodic_return=-8.759719848632812 global_step=192128, episodic_return=-309.409912109375 global_step=192144, episodic_return=-33.37494659423828 global_step=192256, episodic_return=-105.01571655273438 global_step=192608, episodic_return=-157.20042419433594 global_step=192640, episodic_return=-26.376426696777344 global_step=192816, episodic_return=-337.26116943359375 global_step=192928, episodic_return=-120.11582946777344 global_step=192944, episodic_return=-33.85694885253906 global_step=193072, episodic_return=-14.56597900390625 global_step=193920, episodic_return=-71.95708465576172 global_step=194000, episodic_return=-144.16757202148438 global_step=194288, episodic_return=-23.37871551513672 global_step=194384, episodic_return=-31.693801879882812 global_step=194576, episodic_return=-67.96615600585938 global_step=194592, episodic_return=-48.298561096191406 global_step=194896, episodic_return=-149.8468017578125 global_step=195104, episodic_return=-220.5714874267578 global_step=195136, episodic_return=-67.74781799316406 global_step=195360, episodic_return=-63.45939636230469 global_step=195376, episodic_return=-140.67396545410156 global_step=195408, episodic_return=-94.35071563720703 global_step=195792, episodic_return=-92.1169204711914 global_step=196000, episodic_return=-105.66638946533203 global_step=196480, episodic_return=12.705436706542969 global_step=196528, episodic_return=10.999542236328125 SPS: 2686 global_step=196736, episodic_return=-130.1805877685547 global_step=196816, episodic_return=-308.442138671875 global_step=197072, episodic_return=-17.47034454345703 global_step=197152, episodic_return=-262.62103271484375 global_step=197280, episodic_return=17.409011840820312 global_step=197648, episodic_return=-137.46705627441406 global_step=197712, episodic_return=-36.612396240234375 global_step=197856, episodic_return=-97.5145034790039 global_step=197968, episodic_return=-142.2763214111328 global_step=198000, episodic_return=-3.8221817016601562 global_step=198272, episodic_return=-26.98493194580078 global_step=198432, episodic_return=-87.7279052734375 global_step=198592, episodic_return=-68.41886138916016 global_step=198928, episodic_return=9.122650146484375 global_step=199344, episodic_return=62.423702239990234 global_step=199456, episodic_return=12.047203063964844 global_step=199744, episodic_return=-44.214359283447266 global_step=199792, episodic_return=-25.64080047607422 global_step=200096, episodic_return=-27.56475830078125 global_step=200144, episodic_return=-75.84220123291016 global_step=200448, episodic_return=-127.85342407226562 global_step=200560, episodic_return=-28.45612335205078 global_step=200576, episodic_return=-20.60594940185547 global_step=200624, episodic_return=-120.64710235595703 global_step=200896, episodic_return=-143.5907745361328 global_step=201888, episodic_return=-382.92083740234375 global_step=202064, episodic_return=-184.88540649414062 global_step=202096, episodic_return=-155.51905822753906 global_step=202368, episodic_return=-207.89068603515625 global_step=202544, episodic_return=-39.24538040161133 global_step=202752, episodic_return=-248.96897888183594 global_step=202784, episodic_return=-34.979522705078125 global_step=203152, episodic_return=-272.5929870605469 global_step=203376, episodic_return=-171.7548828125 global_step=203488, episodic_return=-37.969146728515625 global_step=203696, episodic_return=-165.99270629882812 global_step=204368, episodic_return=-15.925071716308594 global_step=204384, episodic_return=-34.27747344970703 global_step=204640, episodic_return=-91.60377502441406 global_step=204720, episodic_return=-167.49945068359375 global_step=204912, episodic_return=23.9029541015625 global_step=205104, episodic_return=-35.820823669433594 global_step=205184, episodic_return=-216.50955200195312 global_step=205232, episodic_return=-232.8113555908203 global_step=205376, episodic_return=-84.47901916503906 global_step=205456, episodic_return=-163.37229919433594 global_step=206272, episodic_return=-103.46379089355469 global_step=206928, episodic_return=-42.702484130859375 global_step=207040, episodic_return=-241.13279724121094 global_step=207328, episodic_return=-132.1400604248047 global_step=207424, episodic_return=-108.72773742675781 global_step=207616, episodic_return=-122.04441833496094 global_step=207856, episodic_return=-196.08245849609375 global_step=207904, episodic_return=-71.13337707519531 global_step=207968, episodic_return=46.212860107421875 global_step=208064, episodic_return=-28.943626403808594 global_step=208384, episodic_return=-60.907012939453125 global_step=208480, episodic_return=-80.74293518066406 global_step=208528, episodic_return=-60.68231964111328 global_step=209088, episodic_return=-32.557037353515625 global_step=209232, episodic_return=-74.5038833618164 global_step=209520, episodic_return=-63.766082763671875 global_step=209888, episodic_return=-7.49627685546875 global_step=209984, episodic_return=-152.2654571533203 global_step=210224, episodic_return=-163.68807983398438 global_step=210304, episodic_return=-56.018653869628906 global_step=210320, episodic_return=13.586112976074219 global_step=210368, episodic_return=-74.56993865966797 global_step=210608, episodic_return=-110.0217056274414 global_step=211056, episodic_return=-81.10660552978516 global_step=211136, episodic_return=63.22702407836914 global_step=211536, episodic_return=-84.01209259033203 global_step=211888, episodic_return=-414.1392517089844 global_step=212080, episodic_return=-65.78724670410156 global_step=212320, episodic_return=-284.55328369140625 global_step=212400, episodic_return=-10.700263977050781 global_step=212768, episodic_return=-86.07997131347656 global_step=212784, episodic_return=21.477386474609375 global_step=212928, episodic_return=-73.85855865478516 SPS: 2512 global_step=213136, episodic_return=-293.58782958984375 global_step=213232, episodic_return=-41.6477165222168 global_step=213664, episodic_return=-72.93738555908203 global_step=213680, episodic_return=-144.0498504638672 global_step=213792, episodic_return=-89.80751037597656 global_step=214000, episodic_return=7.185766220092773 global_step=214096, episodic_return=-96.34362030029297 global_step=214496, episodic_return=-30.76781463623047 global_step=214544, episodic_return=-113.03244018554688 global_step=214592, episodic_return=6.8653483390808105 global_step=215056, episodic_return=-118.00093078613281 global_step=215168, episodic_return=-30.777084350585938 global_step=215200, episodic_return=-12.556266784667969 global_step=215696, episodic_return=-194.55636596679688 global_step=215808, episodic_return=-91.47227478027344 global_step=215824, episodic_return=-51.222251892089844 global_step=215936, episodic_return=-63.31520080566406 global_step=216000, episodic_return=-109.57757568359375 global_step=216112, episodic_return=-39.8593864440918 global_step=216688, episodic_return=3.656341552734375 global_step=216720, episodic_return=-241.9471435546875 global_step=216976, episodic_return=-26.120079040527344 global_step=217200, episodic_return=-59.980735778808594 global_step=217328, episodic_return=-78.1280517578125 global_step=217680, episodic_return=-78.17950439453125 global_step=217872, episodic_return=-47.75635528564453 global_step=217904, episodic_return=-67.58699798583984 global_step=218064, episodic_return=-16.46626853942871 global_step=218160, episodic_return=-33.54811096191406 global_step=218192, episodic_return=-83.48944091796875 global_step=218288, episodic_return=-65.5754623413086 global_step=218384, episodic_return=-199.93331909179688 global_step=219104, episodic_return=-78.89491271972656 global_step=219152, episodic_return=-12.267326354980469 global_step=219344, episodic_return=9.032417297363281 global_step=219360, episodic_return=-34.341041564941406 global_step=220000, episodic_return=-8.542991638183594 global_step=220128, episodic_return=-54.49856948852539 global_step=220160, episodic_return=-120.7972412109375 global_step=220352, episodic_return=-73.17642974853516 global_step=220448, episodic_return=-196.55052185058594 global_step=220480, episodic_return=-28.778053283691406 global_step=220512, episodic_return=-45.984832763671875 global_step=220752, episodic_return=-91.14261627197266 global_step=221040, episodic_return=-44.58856201171875 global_step=221056, episodic_return=-197.7967529296875 global_step=221120, episodic_return=-7.297370910644531 global_step=221328, episodic_return=-15.960128784179688 global_step=221392, episodic_return=-66.60189819335938 global_step=221776, episodic_return=-65.56632995605469 global_step=221888, episodic_return=-0.8017807006835938 global_step=221904, episodic_return=-28.901390075683594 global_step=221984, episodic_return=-38.45972442626953 global_step=222000, episodic_return=-45.181968688964844 global_step=222208, episodic_return=-60.57859420776367 global_step=222544, episodic_return=-38.681114196777344 global_step=222976, episodic_return=-48.72654342651367 global_step=223008, episodic_return=-95.10179901123047 global_step=223216, episodic_return=6.6046600341796875 global_step=223392, episodic_return=-14.227142333984375 global_step=223712, episodic_return=-267.20098876953125 global_step=223936, episodic_return=-73.5525131225586 global_step=224256, episodic_return=-112.24748992919922 global_step=224336, episodic_return=-19.764732360839844 global_step=224368, episodic_return=-29.467117309570312 global_step=224560, episodic_return=-52.31752395629883 global_step=224816, episodic_return=-63.805259704589844 global_step=225168, episodic_return=-312.365478515625 global_step=225376, episodic_return=-28.016754150390625 global_step=225584, episodic_return=-59.39702606201172 global_step=225760, episodic_return=-29.823348999023438 global_step=225888, episodic_return=-200.04188537597656 global_step=226528, episodic_return=-160.1220703125 global_step=226768, episodic_return=-17.344528198242188 global_step=226992, episodic_return=-64.10105895996094 global_step=227024, episodic_return=-84.29528045654297 global_step=227088, episodic_return=-108.42694854736328 global_step=227312, episodic_return=-29.595436096191406 global_step=227392, episodic_return=-369.4316711425781 global_step=227552, episodic_return=-72.19129943847656 global_step=227904, episodic_return=-62.799434661865234 global_step=228000, episodic_return=-50.15861892700195 global_step=228048, episodic_return=-42.54881286621094 global_step=228320, episodic_return=-185.41903686523438 global_step=228704, episodic_return=-124.93186950683594 global_step=228736, episodic_return=-20.192848205566406 global_step=228912, episodic_return=-56.78714370727539 global_step=228928, episodic_return=-59.27799606323242 global_step=229008, episodic_return=-98.15386199951172 global_step=229136, episodic_return=-120.08625793457031 SPS: 2474 global_step=230304, episodic_return=-9.370719909667969 global_step=230560, episodic_return=4.2633056640625 global_step=230736, episodic_return=-95.35159301757812 global_step=230832, episodic_return=-121.40455627441406 global_step=230928, episodic_return=-88.65746307373047 global_step=230976, episodic_return=2.4010391235351562 global_step=231152, episodic_return=-16.839332580566406 global_step=231168, episodic_return=-64.5362777709961 global_step=231248, episodic_return=-32.047515869140625 global_step=231552, episodic_return=-67.51636505126953 global_step=231680, episodic_return=-95.61943054199219 global_step=232176, episodic_return=-71.2831802368164 global_step=232432, episodic_return=-154.85484313964844 global_step=232928, episodic_return=-81.33475494384766 global_step=233120, episodic_return=-105.2997817993164 global_step=233184, episodic_return=-68.35205841064453 global_step=233392, episodic_return=8.381401062011719 global_step=233520, episodic_return=7.441856384277344 global_step=233616, episodic_return=-208.21031188964844 global_step=233856, episodic_return=-26.13292694091797 global_step=233872, episodic_return=-45.15866470336914 global_step=233888, episodic_return=-76.62786102294922 global_step=234096, episodic_return=-85.77998352050781 global_step=234176, episodic_return=-76.48855590820312 global_step=234320, episodic_return=-221.7816162109375 global_step=234720, episodic_return=-24.074607849121094 global_step=234928, episodic_return=-113.74715423583984 global_step=235328, episodic_return=-169.50942993164062 global_step=235424, episodic_return=9.211669921875 global_step=235616, episodic_return=-254.30197143554688 global_step=236224, episodic_return=-36.540870666503906 global_step=236464, episodic_return=-21.831336975097656 global_step=236656, episodic_return=-30.886268615722656 global_step=236752, episodic_return=-105.34762573242188 global_step=236816, episodic_return=-44.72969436645508 global_step=237344, episodic_return=-21.440269470214844 global_step=237680, episodic_return=-69.12521362304688 global_step=237696, episodic_return=-72.7051010131836 global_step=237728, episodic_return=-52.451927185058594 global_step=237952, episodic_return=-41.99922180175781 global_step=237984, episodic_return=100.41267395019531 global_step=238128, episodic_return=-79.76683807373047 global_step=238272, episodic_return=-237.63345336914062 global_step=238368, episodic_return=-75.58061218261719 global_step=238816, episodic_return=-94.86803436279297 global_step=238880, episodic_return=-36.63212585449219 global_step=239232, episodic_return=-200.6696014404297 global_step=239456, episodic_return=-94.95298767089844 global_step=239472, episodic_return=-86.53980255126953 global_step=239536, episodic_return=-22.1822509765625 global_step=239808, episodic_return=14.191940307617188 global_step=239872, episodic_return=6.20501708984375 global_step=240016, episodic_return=-76.9640121459961 global_step=240112, episodic_return=-82.73091888427734 global_step=240144, episodic_return=-30.17498016357422 global_step=240560, episodic_return=22.468017578125 global_step=240752, episodic_return=21.791030883789062 global_step=241248, episodic_return=-1.9756698608398438 global_step=241264, episodic_return=-56.495365142822266 global_step=241392, episodic_return=-108.30789947509766 global_step=241520, episodic_return=-16.936485290527344 global_step=241552, episodic_return=-40.21733856201172 global_step=242064, episodic_return=-81.10736083984375 global_step=242144, episodic_return=-30.514541625976562 global_step=242512, episodic_return=-4.124839782714844 global_step=242640, episodic_return=-26.55854034423828 global_step=242944, episodic_return=14.481956481933594 global_step=243072, episodic_return=-82.06755828857422 global_step=243088, episodic_return=-33.70011901855469 global_step=243232, episodic_return=-55.93562316894531 global_step=243392, episodic_return=22.872291564941406 global_step=243680, episodic_return=25.521194458007812 global_step=243856, episodic_return=-112.76121520996094 global_step=244096, episodic_return=-22.930145263671875 global_step=244640, episodic_return=-13.479537963867188 global_step=244784, episodic_return=-46.35008239746094 global_step=244992, episodic_return=-24.536476135253906 global_step=245024, episodic_return=-143.69619750976562 global_step=245056, episodic_return=-83.70726776123047 global_step=245184, episodic_return=-51.57301330566406 global_step=245280, episodic_return=-14.321250915527344 global_step=245376, episodic_return=-117.57914733886719 global_step=245584, episodic_return=-88.65991973876953 global_step=245680, episodic_return=-127.67826843261719 SPS: 2400 global_step=245856, episodic_return=-14.290977478027344 global_step=246000, episodic_return=5.148139953613281 global_step=246208, episodic_return=-22.91022491455078 global_step=246368, episodic_return=-86.61209869384766 global_step=246544, episodic_return=-67.73233032226562 global_step=247312, episodic_return=21.96692657470703 global_step=247456, episodic_return=15.202850341796875 global_step=247744, episodic_return=-98.4207534790039 global_step=247968, episodic_return=-104.59977722167969 global_step=248112, episodic_return=-19.57427978515625 global_step=248176, episodic_return=-12.689834594726562 global_step=248304, episodic_return=-50.5565071105957 global_step=248576, episodic_return=-53.43106460571289 global_step=248608, episodic_return=-72.17455291748047 global_step=248624, episodic_return=-1.969207763671875 global_step=249200, episodic_return=-42.916419982910156 global_step=249376, episodic_return=-195.30267333984375 global_step=249520, episodic_return=-15.785804748535156 global_step=249632, episodic_return=-103.49396514892578 global_step=249776, episodic_return=2.959503173828125 global_step=249872, episodic_return=-146.56832885742188 global_step=250592, episodic_return=-79.5439224243164 global_step=250656, episodic_return=-21.21680450439453 global_step=250784, episodic_return=-145.94338989257812 global_step=250848, episodic_return=-56.739341735839844 global_step=251328, episodic_return=83.49747467041016 global_step=251680, episodic_return=27.05492401123047 global_step=251824, episodic_return=-154.8166961669922 global_step=251872, episodic_return=-55.06450271606445 global_step=251936, episodic_return=-48.070152282714844 global_step=252224, episodic_return=-3.4578170776367188 global_step=252240, episodic_return=35.86517333984375 global_step=252448, episodic_return=70.45674133300781 global_step=252528, episodic_return=-77.11981201171875 global_step=252592, episodic_return=-25.089324951171875 global_step=252784, episodic_return=-4.657936096191406 global_step=252832, episodic_return=-73.36260986328125 global_step=253024, episodic_return=-90.63490295410156 global_step=253280, episodic_return=-11.996917724609375 global_step=253920, episodic_return=-25.60157012939453 global_step=254128, episodic_return=-155.67044067382812 global_step=254432, episodic_return=-208.60635375976562 global_step=254496, episodic_return=7.191215515136719 global_step=254832, episodic_return=12.134811401367188 global_step=254880, episodic_return=-343.7824401855469 global_step=254896, episodic_return=-12.332138061523438 global_step=254992, episodic_return=0.24010467529296875 global_step=255040, episodic_return=8.543067932128906 global_step=255088, episodic_return=-40.632083892822266 global_step=255152, episodic_return=-133.2421875 global_step=255264, episodic_return=-349.3977355957031 global_step=255328, episodic_return=-33.94403076171875 global_step=255344, episodic_return=39.90484619140625 global_step=255616, episodic_return=-9.818679809570312 global_step=256592, episodic_return=-126.49461364746094 global_step=256912, episodic_return=-120.05696868896484 global_step=257136, episodic_return=-7.7519683837890625 global_step=257232, episodic_return=-139.96896362304688 global_step=257344, episodic_return=-100.7376708984375 global_step=257600, episodic_return=-107.87567901611328 global_step=257744, episodic_return=-43.287906646728516 global_step=257856, episodic_return=-59.58190155029297 global_step=258656, episodic_return=-53.1618537902832 global_step=258816, episodic_return=-124.9722900390625 global_step=259056, episodic_return=-62.564762115478516 global_step=259152, episodic_return=-108.42195892333984 global_step=259280, episodic_return=-148.43519592285156 global_step=259344, episodic_return=-69.07432556152344 global_step=259648, episodic_return=27.028305053710938 global_step=259808, episodic_return=-47.05210494995117 global_step=260144, episodic_return=-82.38299560546875 global_step=260336, episodic_return=-158.3355712890625 global_step=260352, episodic_return=-43.760616302490234 global_step=260448, episodic_return=-68.21961212158203 global_step=261088, episodic_return=-30.329315185546875 global_step=261312, episodic_return=-33.969078063964844 global_step=261392, episodic_return=-47.897396087646484 global_step=261472, episodic_return=-50.15866470336914 global_step=261488, episodic_return=-73.82585144042969 global_step=261696, episodic_return=-89.09574127197266 global_step=262048, episodic_return=-78.58761596679688 SPS: 2364 global_step=262672, episodic_return=12.253982543945312 global_step=262736, episodic_return=-136.35641479492188 global_step=262816, episodic_return=-8.274887084960938 global_step=263744, episodic_return=-2.421539306640625 global_step=263952, episodic_return=-57.80599594116211 global_step=263984, episodic_return=-261.426025390625 global_step=264560, episodic_return=-3.4869461059570312 global_step=264688, episodic_return=-66.09242248535156 global_step=264784, episodic_return=-60.3296012878418 global_step=265664, episodic_return=-27.599014282226562 global_step=265712, episodic_return=-181.84010314941406 global_step=265744, episodic_return=-56.92535400390625 global_step=265808, episodic_return=-102.08641815185547 global_step=266544, episodic_return=-82.65052795410156 global_step=266912, episodic_return=-45.835609436035156 global_step=266976, episodic_return=26.402236938476562 global_step=267472, episodic_return=-59.106971740722656 global_step=267552, episodic_return=-78.44734954833984 global_step=267824, episodic_return=67.19967651367188 global_step=268000, episodic_return=-64.79962921142578 global_step=268032, episodic_return=-144.28741455078125 global_step=268464, episodic_return=-123.519287109375 global_step=268736, episodic_return=-116.25106811523438 global_step=268880, episodic_return=-190.29209899902344 global_step=269440, episodic_return=-34.603912353515625 global_step=269568, episodic_return=41.449310302734375 global_step=269712, episodic_return=-175.80661010742188 global_step=269728, episodic_return=-32.23755645751953 global_step=270752, episodic_return=-7.938697814941406 global_step=270816, episodic_return=-5.3238067626953125 global_step=271168, episodic_return=18.669845581054688 global_step=271344, episodic_return=72.29998016357422 global_step=271680, episodic_return=-96.85801696777344 global_step=271936, episodic_return=-55.31553268432617 global_step=272032, episodic_return=-55.23733139038086 global_step=272064, episodic_return=-139.0821533203125 global_step=272336, episodic_return=-27.006454467773438 global_step=272656, episodic_return=37.14521789550781 global_step=272752, episodic_return=9.741973876953125 global_step=272960, episodic_return=-40.13138961791992 global_step=273232, episodic_return=25.47361183166504 global_step=273632, episodic_return=10.836273193359375 global_step=273648, episodic_return=41.80879211425781 global_step=274112, episodic_return=-226.52685546875 global_step=274192, episodic_return=-49.9471549987793 global_step=274208, episodic_return=-23.28142547607422 global_step=274464, episodic_return=-66.28356170654297 global_step=274544, episodic_return=-19.486602783203125 global_step=274656, episodic_return=-158.36187744140625 global_step=274944, episodic_return=-64.98213958740234 global_step=275152, episodic_return=-170.16400146484375 global_step=275312, episodic_return=-20.060501098632812 global_step=275664, episodic_return=-39.00215530395508 global_step=276144, episodic_return=-51.01102828979492 global_step=276624, episodic_return=-0.27744293212890625 global_step=276864, episodic_return=-63.121212005615234 global_step=277280, episodic_return=-141.2697296142578 global_step=277472, episodic_return=16.969419479370117 global_step=277664, episodic_return=-109.57730102539062 global_step=277680, episodic_return=-104.7126235961914 global_step=277968, episodic_return=-65.50326538085938 global_step=278016, episodic_return=30.141098022460938 global_step=278032, episodic_return=-164.95333862304688 global_step=278256, episodic_return=6.097076416015625 SPS: 2268 global_step=278720, episodic_return=-64.69923400878906 global_step=278736, episodic_return=-45.75448226928711 global_step=278944, episodic_return=-121.20621490478516 global_step=279280, episodic_return=6.347206115722656 global_step=279344, episodic_return=-159.21766662597656 global_step=279472, episodic_return=-195.06581115722656 global_step=279824, episodic_return=-218.79359436035156 global_step=279856, episodic_return=-39.87487030029297 global_step=279904, episodic_return=-57.5593376159668 global_step=280000, episodic_return=-80.73806762695312 global_step=280624, episodic_return=-32.55181121826172 global_step=280672, episodic_return=25.333045959472656 global_step=281424, episodic_return=-71.0999526977539 global_step=281744, episodic_return=-37.40534210205078 global_step=281840, episodic_return=-1.8395233154296875 global_step=282032, episodic_return=-240.14305114746094 global_step=282352, episodic_return=-78.57777404785156 global_step=282592, episodic_return=-118.02101135253906 global_step=282848, episodic_return=-243.264404296875 global_step=282880, episodic_return=-81.79170227050781 global_step=282960, episodic_return=-167.56434631347656 global_step=282992, episodic_return=-101.66302490234375 global_step=283120, episodic_return=-196.04017639160156 global_step=283584, episodic_return=-31.37952423095703 global_step=283872, episodic_return=-5.10394287109375 global_step=284080, episodic_return=13.881431579589844 global_step=284720, episodic_return=-172.89744567871094 global_step=285024, episodic_return=-60.80979919433594 global_step=285072, episodic_return=25.600433349609375 global_step=285280, episodic_return=3.1341323852539062 global_step=285376, episodic_return=-52.8734016418457 global_step=285440, episodic_return=-48.609962463378906 global_step=285856, episodic_return=-69.79026794433594 global_step=286064, episodic_return=-21.060623168945312 global_step=286768, episodic_return=-30.281967163085938 global_step=287056, episodic_return=-48.31817626953125 global_step=287072, episodic_return=-76.61119079589844 global_step=287312, episodic_return=15.525726318359375 global_step=287328, episodic_return=-23.821693420410156 global_step=287936, episodic_return=8.402572631835938 global_step=288704, episodic_return=-7.300559997558594 global_step=288976, episodic_return=-21.321495056152344 global_step=289328, episodic_return=-60.74238967895508 global_step=289776, episodic_return=-193.31118774414062 global_step=289920, episodic_return=-67.90035247802734 global_step=290144, episodic_return=9.796287536621094 global_step=290880, episodic_return=-49.22175216674805 global_step=291744, episodic_return=59.287567138671875 global_step=291856, episodic_return=-34.65247344970703 global_step=292224, episodic_return=-21.81023406982422 global_step=292496, episodic_return=11.6900634765625 global_step=292880, episodic_return=-23.46106719970703 global_step=293072, episodic_return=-22.067665100097656 global_step=293280, episodic_return=-104.93472290039062 global_step=293520, episodic_return=44.006378173828125 global_step=293664, episodic_return=17.109254837036133 global_step=294128, episodic_return=-39.83652114868164 global_step=294224, episodic_return=-21.616867065429688 SPS: 2201 global_step=295904, episodic_return=-34.19697189331055 global_step=296320, episodic_return=17.571273803710938 global_step=296720, episodic_return=-181.10446166992188 global_step=297280, episodic_return=-14.835502624511719 global_step=297520, episodic_return=5.13006591796875 global_step=298208, episodic_return=-61.15624237060547 global_step=299024, episodic_return=-151.89553833007812 global_step=299120, episodic_return=100.88178253173828 global_step=300288, episodic_return=-12.523109436035156 global_step=300656, episodic_return=-78.18269348144531 global_step=300816, episodic_return=-175.2406005859375 global_step=301232, episodic_return=-60.494667053222656 global_step=301280, episodic_return=5.739352226257324 global_step=301376, episodic_return=29.79625701904297 global_step=301488, episodic_return=-196.25543212890625 global_step=302096, episodic_return=1.125640869140625 global_step=302688, episodic_return=-273.8422546386719 global_step=303328, episodic_return=56.58782958984375 global_step=303344, episodic_return=-47.42168426513672 global_step=303360, episodic_return=-89.00574493408203 global_step=304224, episodic_return=-63.69462966918945 global_step=304960, episodic_return=-146.01095581054688 global_step=305776, episodic_return=-21.504377365112305 global_step=305856, episodic_return=-277.5997314453125 global_step=305920, episodic_return=61.95292282104492 global_step=305968, episodic_return=-33.378143310546875 global_step=306848, episodic_return=-285.7052307128906 global_step=307696, episodic_return=-34.992652893066406 global_step=307744, episodic_return=87.05156707763672 global_step=307776, episodic_return=5.928352355957031 global_step=307936, episodic_return=-29.568199157714844 global_step=308032, episodic_return=-187.76556396484375 global_step=308176, episodic_return=-12.322006225585938 global_step=309024, episodic_return=18.25646209716797 global_step=309216, episodic_return=-13.264442443847656 global_step=310096, episodic_return=-164.6036834716797 global_step=310224, episodic_return=16.161945343017578 global_step=310672, episodic_return=-98.39173126220703 global_step=310752, episodic_return=-249.3179168701172 global_step=311200, episodic_return=-281.63323974609375 SPS: 2077 global_step=312096, episodic_return=-78.90641021728516 global_step=312464, episodic_return=-20.38457489013672 global_step=312736, episodic_return=-85.99443054199219 global_step=313280, episodic_return=-36.9619140625 global_step=313408, episodic_return=-15.939598083496094 global_step=313920, episodic_return=-196.30059814453125 global_step=314368, episodic_return=-0.996978759765625 global_step=314496, episodic_return=27.446792602539062 global_step=314560, episodic_return=-82.720947265625 global_step=314864, episodic_return=-75.64582824707031 global_step=315536, episodic_return=-102.38764190673828 global_step=316032, episodic_return=-191.37350463867188 global_step=316160, episodic_return=-195.26205444335938 global_step=316288, episodic_return=74.24859619140625 global_step=316656, episodic_return=33.34873962402344 global_step=317280, episodic_return=42.25507354736328 global_step=317392, episodic_return=-44.03367614746094 global_step=317760, episodic_return=47.07691955566406 global_step=317872, episodic_return=0.9880294799804688 global_step=318160, episodic_return=-80.04946899414062 global_step=318416, episodic_return=-16.03028106689453 global_step=318480, episodic_return=-54.45594024658203 global_step=318592, episodic_return=-15.962974548339844 global_step=319856, episodic_return=-112.13644409179688 global_step=319888, episodic_return=7.428489685058594 global_step=320224, episodic_return=86.96705627441406 global_step=320448, episodic_return=-22.2987060546875 global_step=320544, episodic_return=-49.262699127197266 global_step=320608, episodic_return=-35.80857849121094 global_step=320736, episodic_return=49.14198303222656 global_step=321296, episodic_return=-83.10926055908203 global_step=321936, episodic_return=-23.618362426757812 global_step=322176, episodic_return=-86.43909454345703 global_step=322384, episodic_return=-48.78165054321289 global_step=322432, episodic_return=-120.63542175292969 global_step=322480, episodic_return=-15.666824340820312 global_step=323296, episodic_return=-24.416412353515625 global_step=323712, episodic_return=-84.81776428222656 global_step=323744, episodic_return=123.08349609375 global_step=323904, episodic_return=-44.74066162109375 global_step=324144, episodic_return=-123.64432525634766 global_step=324240, episodic_return=-19.013381958007812 global_step=324384, episodic_return=-227.97618103027344 global_step=326096, episodic_return=-28.873146057128906 global_step=326176, episodic_return=-60.48326873779297 global_step=326816, episodic_return=-195.00332641601562 global_step=326864, episodic_return=-33.16657257080078 global_step=327088, episodic_return=-70.01253509521484 global_step=327360, episodic_return=-181.08804321289062 global_step=327424, episodic_return=-53.21744155883789 global_step=327488, episodic_return=-75.74517059326172 SPS: 2022 global_step=327872, episodic_return=-106.77770233154297 global_step=327968, episodic_return=-54.69949722290039 global_step=328192, episodic_return=-2.8490219116210938 global_step=328736, episodic_return=124.53236389160156 global_step=329280, episodic_return=91.1154556274414 global_step=330608, episodic_return=-2.4865951538085938 global_step=330864, episodic_return=10.272262573242188 global_step=331184, episodic_return=13.900093078613281 global_step=331408, episodic_return=-7.9758453369140625 global_step=331616, episodic_return=-183.78396606445312 global_step=331632, episodic_return=-6.927680969238281 global_step=331696, episodic_return=-215.6031951904297 global_step=332128, episodic_return=-89.69667053222656 global_step=332752, episodic_return=-133.56993103027344 global_step=333136, episodic_return=-207.0244140625 global_step=333520, episodic_return=-5.665840148925781 global_step=334080, episodic_return=-66.34178924560547 global_step=334288, episodic_return=-8.817611694335938 global_step=334832, episodic_return=-73.48048400878906 global_step=334864, episodic_return=-14.8404541015625 global_step=335392, episodic_return=-38.01616668701172 global_step=335840, episodic_return=-71.8271255493164 global_step=335952, episodic_return=-37.214752197265625 global_step=336608, episodic_return=53.78253173828125 global_step=337184, episodic_return=-39.04669952392578 global_step=337200, episodic_return=-27.428977966308594 global_step=337488, episodic_return=-120.20514678955078 global_step=339728, episodic_return=9.825241088867188 global_step=340144, episodic_return=30.207988739013672 global_step=340672, episodic_return=-44.957950592041016 global_step=340880, episodic_return=-63.27796173095703 global_step=342000, episodic_return=23.085189819335938 global_step=342096, episodic_return=61.991764068603516 global_step=342592, episodic_return=-21.54473876953125 global_step=343600, episodic_return=-15.707748413085938 global_step=343968, episodic_return=90.64353942871094 SPS: 1955 global_step=344784, episodic_return=-132.095458984375 global_step=346176, episodic_return=-42.28923416137695 global_step=347632, episodic_return=45.748233795166016 global_step=347904, episodic_return=-0.5708999633789062 global_step=348128, episodic_return=-32.27195358276367 global_step=348208, episodic_return=-152.87457275390625 global_step=348736, episodic_return=-45.47279357910156 global_step=349136, episodic_return=116.5885009765625 global_step=350080, episodic_return=80.52910614013672 global_step=350192, episodic_return=-138.27671813964844 global_step=350336, episodic_return=-55.05979919433594 global_step=350864, episodic_return=117.30925750732422 global_step=351392, episodic_return=6.909567356109619 global_step=351840, episodic_return=93.60270690917969 global_step=351952, episodic_return=61.611656188964844 global_step=351968, episodic_return=-242.46768188476562 global_step=352608, episodic_return=-32.35658264160156 global_step=352688, episodic_return=-187.10629272460938 global_step=353840, episodic_return=-16.195579528808594 global_step=353920, episodic_return=-29.011497497558594 global_step=354224, episodic_return=-64.48011016845703 global_step=354976, episodic_return=-100.41637420654297 global_step=355184, episodic_return=-144.87547302246094 global_step=355216, episodic_return=-56.50916290283203 global_step=355824, episodic_return=-159.9190216064453 global_step=356144, episodic_return=9.791933059692383 global_step=358320, episodic_return=-23.748451232910156 global_step=358832, episodic_return=17.846534729003906 global_step=359344, episodic_return=-26.175933837890625 global_step=359504, episodic_return=-188.15664672851562 global_step=359600, episodic_return=142.43963623046875 global_step=359648, episodic_return=-162.43479919433594 global_step=359920, episodic_return=-136.01022338867188 SPS: 1860 global_step=361712, episodic_return=-28.273788452148438 global_step=362336, episodic_return=-29.243736267089844 global_step=362608, episodic_return=-11.906158447265625 global_step=363840, episodic_return=7.9289398193359375 global_step=363952, episodic_return=-207.060791015625 global_step=364128, episodic_return=58.34654235839844 global_step=364384, episodic_return=31.476394653320312 global_step=364448, episodic_return=-26.64422607421875 global_step=364736, episodic_return=10.848782539367676 global_step=364944, episodic_return=-43.18178939819336 global_step=365136, episodic_return=94.2784423828125 global_step=365600, episodic_return=-21.62799835205078 global_step=367056, episodic_return=-115.10261535644531 global_step=367280, episodic_return=-34.62255096435547 global_step=367840, episodic_return=75.4063949584961 global_step=367920, episodic_return=-53.27724075317383 global_step=367968, episodic_return=121.96022033691406 global_step=368048, episodic_return=-12.223281860351562 global_step=368912, episodic_return=-87.41681671142578 global_step=369760, episodic_return=-100.70823669433594 global_step=370928, episodic_return=-16.842750549316406 global_step=370960, episodic_return=31.474365234375 global_step=371056, episodic_return=-51.60886001586914 global_step=371216, episodic_return=42.801795959472656 global_step=371648, episodic_return=39.01483154296875 global_step=371824, episodic_return=29.395492553710938 global_step=371840, episodic_return=-12.76483154296875 global_step=372144, episodic_return=-9.126845359802246 global_step=372160, episodic_return=-37.65639114379883 global_step=372544, episodic_return=-16.151634216308594 global_step=373952, episodic_return=-151.7248992919922 global_step=374144, episodic_return=33.79435729980469 global_step=375344, episodic_return=-36.205284118652344 global_step=375600, episodic_return=65.6623306274414 global_step=375792, episodic_return=-75.45475006103516 global_step=375856, episodic_return=16.213722229003906 global_step=375872, episodic_return=-44.98141860961914 SPS: 1804 global_step=376928, episodic_return=23.749679565429688 global_step=377120, episodic_return=-65.92884063720703 global_step=377520, episodic_return=28.47711181640625 global_step=379072, episodic_return=15.524192810058594 global_step=379328, episodic_return=-78.36727142333984 global_step=379936, episodic_return=181.48480224609375 global_step=380528, episodic_return=-104.98255920410156 global_step=381136, episodic_return=75.8994369506836 global_step=381600, episodic_return=75.3061294555664 global_step=383024, episodic_return=3.4233474731445312 global_step=386000, episodic_return=-52.783416748046875 global_step=386128, episodic_return=18.295379638671875 global_step=386160, episodic_return=27.303543090820312 global_step=386592, episodic_return=-142.58082580566406 global_step=386928, episodic_return=148.3247528076172 global_step=387072, episodic_return=-51.49524688720703 global_step=387648, episodic_return=87.02577209472656 global_step=388160, episodic_return=91.84574890136719 global_step=388544, episodic_return=34.46857833862305 global_step=389408, episodic_return=-41.40666580200195 global_step=389856, episodic_return=-201.69261169433594 global_step=389952, episodic_return=104.16490936279297 global_step=390368, episodic_return=-50.02475357055664 global_step=390784, episodic_return=-85.27635955810547 global_step=391344, episodic_return=90.53606414794922 global_step=391392, episodic_return=-26.257949829101562 global_step=391408, episodic_return=-40.672882080078125 global_step=391872, episodic_return=112.84235382080078 global_step=392192, episodic_return=-8.820289611816406 global_step=392928, episodic_return=111.38048553466797 global_step=393120, episodic_return=3.0023934841156006 SPS: 1742 global_step=393280, episodic_return=-113.2966079711914 global_step=394144, episodic_return=-25.559036254882812 global_step=394352, episodic_return=-9.878456115722656 global_step=394400, episodic_return=-90.52236938476562 global_step=394560, episodic_return=-0.080596923828125 global_step=394592, episodic_return=-33.530738830566406 global_step=395072, episodic_return=53.322669982910156 global_step=395328, episodic_return=-25.38652801513672 global_step=396848, episodic_return=-159.1673583984375 global_step=397296, episodic_return=-34.434959411621094 global_step=398240, episodic_return=-85.513427734375 global_step=399024, episodic_return=2.044921875 global_step=399232, episodic_return=-63.33037185668945 global_step=399872, episodic_return=-70.61617279052734 global_step=400320, episodic_return=25.419334411621094 global_step=401072, episodic_return=-56.86848831176758 global_step=401424, episodic_return=-4.0532684326171875 global_step=402960, episodic_return=-15.913871765136719 global_step=403344, episodic_return=-45.578208923339844 global_step=403760, episodic_return=-243.2881622314453 global_step=404160, episodic_return=77.13253784179688 global_step=404544, episodic_return=73.99385070800781 global_step=405904, episodic_return=-202.82102966308594 global_step=406720, episodic_return=13.151710510253906 global_step=407392, episodic_return=90.3560791015625 global_step=408192, episodic_return=101.45645904541016 global_step=408464, episodic_return=15.960693359375 global_step=408928, episodic_return=140.2026824951172 global_step=409120, episodic_return=137.16070556640625 SPS: 1682 global_step=410320, episodic_return=-27.997879028320312 global_step=410400, episodic_return=125.15367889404297 global_step=411200, episodic_return=-87.91883850097656 global_step=411456, episodic_return=-87.44632720947266 global_step=413632, episodic_return=-97.64696502685547 global_step=413648, episodic_return=-43.36137008666992 global_step=413664, episodic_return=-92.4856185913086 global_step=413840, episodic_return=10.675827026367188 global_step=414240, episodic_return=140.97537231445312 global_step=414528, episodic_return=17.56000518798828 global_step=415376, episodic_return=-88.7492446899414 global_step=415872, episodic_return=67.95714569091797 global_step=416144, episodic_return=-71.2222900390625 global_step=416320, episodic_return=97.49214172363281 global_step=416752, episodic_return=5.061332702636719 global_step=417072, episodic_return=116.7261962890625 global_step=417424, episodic_return=154.5153350830078 global_step=418112, episodic_return=-36.147666931152344 global_step=418240, episodic_return=-53.155235290527344 global_step=419344, episodic_return=46.95037078857422 global_step=419408, episodic_return=20.998008728027344 global_step=419504, episodic_return=38.69136047363281 global_step=419808, episodic_return=20.110557556152344 global_step=420160, episodic_return=107.120849609375 global_step=420624, episodic_return=8.182098388671875 global_step=420672, episodic_return=16.696975708007812 global_step=421392, episodic_return=-18.91515350341797 global_step=421872, episodic_return=-2.4633407592773438 global_step=422016, episodic_return=3.8740615844726562 global_step=423504, episodic_return=-25.40704345703125 global_step=424080, episodic_return=-35.997169494628906 global_step=424192, episodic_return=109.38732147216797 global_step=424224, episodic_return=-28.920745849609375 global_step=424928, episodic_return=91.5513687133789 global_step=425536, episodic_return=-17.65038299560547 global_step=425632, episodic_return=-70.25094604492188 SPS: 1638 global_step=426832, episodic_return=18.79364776611328 global_step=427696, episodic_return=-42.580509185791016 global_step=428896, episodic_return=-9.551704406738281 global_step=429408, episodic_return=3.9919281005859375 global_step=430160, episodic_return=-33.51371765136719 global_step=430528, episodic_return=71.98358154296875 global_step=431440, episodic_return=33.88578796386719 global_step=432320, episodic_return=47.844783782958984 global_step=433040, episodic_return=-50.70193099975586 global_step=433632, episodic_return=-83.5557861328125 global_step=434112, episodic_return=97.86972045898438 global_step=434240, episodic_return=53.14784240722656 global_step=434320, episodic_return=-48.686859130859375 global_step=435408, episodic_return=77.70052337646484 global_step=435520, episodic_return=1.4560546875 global_step=436624, episodic_return=108.58081817626953 global_step=436656, episodic_return=3.79742431640625 global_step=436672, episodic_return=26.727127075195312 global_step=437296, episodic_return=9.127738952636719 global_step=437424, episodic_return=-63.33222198486328 global_step=438016, episodic_return=44.5813102722168 global_step=438288, episodic_return=-50.85224151611328 global_step=438336, episodic_return=-17.57720947265625 global_step=439072, episodic_return=-98.68727111816406 global_step=440192, episodic_return=111.15946197509766 global_step=440704, episodic_return=-65.50236511230469 global_step=441632, episodic_return=72.286376953125 global_step=441712, episodic_return=19.265533447265625 SPS: 1591 global_step=442576, episodic_return=16.742752075195312 global_step=442832, episodic_return=122.69071197509766 global_step=444320, episodic_return=-48.530662536621094 global_step=445744, episodic_return=2.9126052856445312 global_step=446512, episodic_return=0.07051849365234375 global_step=447696, episodic_return=-52.44044494628906 global_step=448320, episodic_return=179.71090698242188 global_step=450064, episodic_return=-24.264511108398438 global_step=450240, episodic_return=39.626991271972656 global_step=451520, episodic_return=27.225297927856445 global_step=452624, episodic_return=86.82330322265625 global_step=452672, episodic_return=4.0021843910217285 global_step=452928, episodic_return=-222.47586059570312 global_step=454288, episodic_return=123.18328857421875 global_step=454336, episodic_return=104.98200225830078 global_step=454464, episodic_return=-25.47522735595703 global_step=454784, episodic_return=-84.57994079589844 global_step=455072, episodic_return=64.47268676757812 global_step=455360, episodic_return=37.677978515625 global_step=456192, episodic_return=111.2229995727539 global_step=456208, episodic_return=5.046943664550781 global_step=456704, episodic_return=-55.267051696777344 global_step=457632, episodic_return=72.11883544921875 SPS: 1544 global_step=458832, episodic_return=90.63705444335938 global_step=459248, episodic_return=14.031082153320312 global_step=459920, episodic_return=-28.885543823242188 global_step=460480, episodic_return=-128.52127075195312 global_step=460624, episodic_return=-29.501510620117188 global_step=461392, episodic_return=-35.842811584472656 global_step=461648, episodic_return=-81.41253662109375 global_step=462064, episodic_return=-259.9728088378906 global_step=462512, episodic_return=-24.484848022460938 global_step=463456, episodic_return=-34.97290802001953 global_step=463632, episodic_return=-28.3763427734375 global_step=463696, episodic_return=104.44569396972656 global_step=467520, episodic_return=42.70719909667969 global_step=468672, episodic_return=33.56193542480469 global_step=470288, episodic_return=125.89751434326172 global_step=470336, episodic_return=52.03680419921875 global_step=471072, episodic_return=79.99164581298828 global_step=472400, episodic_return=169.11297607421875 global_step=472992, episodic_return=-86.47264862060547 global_step=474832, episodic_return=-4.244377136230469 SPS: 1490 global_step=475920, episodic_return=3.2805593013763428 global_step=476480, episodic_return=88.80596160888672 global_step=476512, episodic_return=-52.812984466552734 global_step=477392, episodic_return=-9.460371971130371 global_step=477488, episodic_return=-207.29344177246094 global_step=477552, episodic_return=-61.16749572753906 global_step=477648, episodic_return=94.4444808959961 global_step=478064, episodic_return=67.42881774902344 global_step=478512, episodic_return=156.70664978027344 global_step=478704, episodic_return=-27.56049346923828 global_step=479632, episodic_return=87.29130554199219 global_step=479696, episodic_return=109.1046142578125 global_step=479984, episodic_return=-53.804481506347656 global_step=482176, episodic_return=-101.22752380371094 global_step=483856, episodic_return=0.36663055419921875 global_step=484960, episodic_return=22.2391357421875 global_step=486288, episodic_return=51.05418014526367 global_step=486960, episodic_return=-32.45275115966797 global_step=487040, episodic_return=-57.9527473449707 global_step=487328, episodic_return=-141.5880126953125 global_step=488400, episodic_return=33.568084716796875 global_step=489840, episodic_return=-5.7015533447265625 SPS: 1446 global_step=491920, episodic_return=68.30517578125 global_step=492480, episodic_return=-2.5974948406219482 global_step=493392, episodic_return=53.95643997192383 global_step=493472, episodic_return=136.58200073242188 global_step=493648, episodic_return=80.87622833251953 global_step=494064, episodic_return=157.92324829101562 global_step=494512, episodic_return=22.67012596130371 global_step=495632, episodic_return=127.90847778320312 global_step=495696, episodic_return=51.99836730957031 global_step=498176, episodic_return=73.64057922363281 global_step=498720, episodic_return=-17.520416259765625 global_step=501584, episodic_return=-26.226531982421875 global_step=502288, episodic_return=85.60858917236328 global_step=502368, episodic_return=-4.659942626953125 global_step=502960, episodic_return=87.79402923583984 global_step=503040, episodic_return=35.76372146606445 global_step=503328, episodic_return=79.85918426513672 global_step=504176, episodic_return=-126.38701629638672 global_step=504400, episodic_return=53.71086883544922 global_step=504880, episodic_return=-15.526268005371094 global_step=505296, episodic_return=-80.04179382324219 global_step=505568, episodic_return=211.2928466796875 global_step=505840, episodic_return=58.344642639160156 global_step=506912, episodic_return=6.3567352294921875 SPS: 1403 global_step=508480, episodic_return=85.63301849365234 global_step=509472, episodic_return=-8.090079307556152 global_step=509648, episodic_return=84.6991958618164 global_step=509776, episodic_return=-62.724185943603516 global_step=510512, episodic_return=97.48198699951172 global_step=511104, episodic_return=-37.667015075683594 global_step=513664, episodic_return=-38.432064056396484 global_step=516400, episodic_return=-36.458526611328125 global_step=518368, episodic_return=84.82598114013672 global_step=518960, episodic_return=82.10014343261719 global_step=519040, episodic_return=76.91958618164062 global_step=519328, episodic_return=53.28730773925781 global_step=520176, episodic_return=-10.517671585083008 global_step=520400, episodic_return=113.51629638671875 global_step=521568, episodic_return=104.39379119873047 global_step=521840, episodic_return=101.46550750732422 global_step=522912, episodic_return=109.90013122558594 SPS: 1364 global_step=524480, episodic_return=82.10079956054688 global_step=524496, episodic_return=4.332672119140625 global_step=525312, episodic_return=-60.9224739074707 global_step=525472, episodic_return=107.56575012207031 global_step=525648, episodic_return=42.15671157836914 global_step=526512, episodic_return=43.66368865966797 global_step=527104, episodic_return=44.552433013916016 global_step=529664, episodic_return=73.38970947265625 global_step=531440, episodic_return=78.8150634765625 global_step=531728, episodic_return=-65.77938842773438 global_step=534144, episodic_return=-128.2843017578125 global_step=534368, episodic_return=85.05770111083984 global_step=535040, episodic_return=-96.54261016845703 global_step=536400, episodic_return=26.703611373901367 global_step=537568, episodic_return=82.11092376708984 global_step=537840, episodic_return=68.67904663085938 global_step=538912, episodic_return=5.921558856964111 global_step=540480, episodic_return=81.14588165283203 SPS: 1322 global_step=541312, episodic_return=91.6238021850586 global_step=541472, episodic_return=19.624990463256836 global_step=541648, episodic_return=-13.465025901794434 global_step=542512, episodic_return=76.04341125488281 global_step=543104, episodic_return=105.34613037109375 global_step=545664, episodic_return=-30.58130645751953 global_step=547264, episodic_return=173.65472412109375 global_step=547440, episodic_return=-174.99667358398438 global_step=547728, episodic_return=72.2591781616211 global_step=548560, episodic_return=-102.83436584472656 global_step=551040, episodic_return=20.381488800048828 global_step=551312, episodic_return=-247.8199920654297 global_step=552576, episodic_return=-145.8809356689453 global_step=552880, episodic_return=-157.17823791503906 global_step=554912, episodic_return=-76.9849853515625 global_step=556480, episodic_return=-130.1552276611328 SPS: 1288 global_step=557312, episodic_return=87.31779479980469 global_step=557472, episodic_return=81.88600158691406 global_step=557648, episodic_return=-48.07203674316406 global_step=559104, episodic_return=0.6457797288894653 global_step=560064, episodic_return=-80.24427795410156 global_step=561664, episodic_return=117.16902923583984 global_step=563264, episodic_return=-100.9875259399414 global_step=563440, episodic_return=23.881866455078125 global_step=563728, episodic_return=-57.461971282958984 global_step=564560, episodic_return=76.7866439819336 global_step=567040, episodic_return=5.480915546417236 global_step=567632, episodic_return=-173.97927856445312 global_step=567744, episodic_return=-141.9091796875 global_step=568560, episodic_return=-88.82565307617188 global_step=568576, episodic_return=69.21800994873047 global_step=570912, episodic_return=111.83678436279297 global_step=571808, episodic_return=-120.05008697509766 SPS: 1258 global_step=573472, episodic_return=64.20907592773438 global_step=574400, episodic_return=-41.523494720458984 global_step=575104, episodic_return=113.31678009033203 global_step=576064, episodic_return=118.69989776611328 global_step=577664, episodic_return=-75.05364227294922 global_step=579440, episodic_return=80.23838806152344 global_step=579728, episodic_return=-31.314550399780273 global_step=580080, episodic_return=-89.88435363769531 global_step=580560, episodic_return=117.14633178710938 global_step=583040, episodic_return=-49.72638702392578 global_step=583584, episodic_return=-52.02077102661133 global_step=583632, episodic_return=-5.274312973022461 global_step=584560, episodic_return=-39.114219665527344 global_step=584576, episodic_return=-51.51898956298828 global_step=586912, episodic_return=-5.791053771972656 global_step=587808, episodic_return=-46.11505126953125 SPS: 1232 global_step=590400, episodic_return=-69.9132308959961 global_step=591104, episodic_return=23.811635971069336 global_step=592064, episodic_return=66.2220230102539 global_step=592672, episodic_return=-134.4326934814453 global_step=593664, episodic_return=-49.287620544433594 global_step=595440, episodic_return=47.33373260498047 global_step=595728, episodic_return=-58.00307846069336 global_step=596080, episodic_return=-11.572221755981445 global_step=596560, episodic_return=53.731048583984375 global_step=599584, episodic_return=50.97527313232422 global_step=599632, episodic_return=-19.900949478149414 global_step=600560, episodic_return=64.55254364013672 global_step=600576, episodic_return=-42.78660583496094 global_step=601856, episodic_return=-229.68545532226562 global_step=603808, episodic_return=112.48328399658203 global_step=605248, episodic_return=-89.37284088134766 SPS: 1200 global_step=606400, episodic_return=-82.70097351074219 global_step=607104, episodic_return=66.2757568359375 global_step=608064, episodic_return=47.89359664916992 global_step=608672, episodic_return=0.19432058930397034 global_step=609664, episodic_return=39.06743621826172 global_step=611440, episodic_return=40.84114456176758 global_step=611728, episodic_return=91.89823913574219 global_step=612560, episodic_return=27.918106079101562 global_step=615584, episodic_return=-21.176145553588867 global_step=615632, episodic_return=95.96739959716797 global_step=616560, episodic_return=-39.973167419433594 global_step=616576, episodic_return=-24.088499069213867 global_step=617856, episodic_return=-16.51708221435547 global_step=619808, episodic_return=3.7309772968292236 global_step=621248, episodic_return=-58.72053146362305 global_step=622400, episodic_return=-48.429901123046875 SPS: 1168 global_step=623104, episodic_return=31.598363876342773 global_step=624064, episodic_return=-20.10130500793457 global_step=624672, episodic_return=-69.12028503417969 global_step=625664, episodic_return=61.564300537109375 global_step=627440, episodic_return=-40.71794128417969 global_step=627728, episodic_return=66.99662017822266 global_step=628560, episodic_return=-1.6541894674301147 global_step=631584, episodic_return=-36.83664321899414 global_step=631632, episodic_return=-42.14908218383789 global_step=632560, episodic_return=-39.5865592956543 global_step=632576, episodic_return=-38.384376525878906 global_step=633856, episodic_return=49.453495025634766 global_step=635376, episodic_return=-128.78799438476562 global_step=635808, episodic_return=-51.39100646972656 global_step=638400, episodic_return=-73.8223648071289 SPS: 1142 global_step=639104, episodic_return=-76.20311737060547 global_step=640064, episodic_return=-40.49116516113281 global_step=640672, episodic_return=32.75397872924805 global_step=641664, episodic_return=-106.901123046875 global_step=643440, episodic_return=3.090149402618408 global_step=643728, episodic_return=-62.34000015258789 global_step=644560, episodic_return=-86.84909057617188 global_step=647584, episodic_return=-75.57002258300781 global_step=647632, episodic_return=-28.42841339111328 global_step=648560, episodic_return=-72.5274887084961 global_step=648576, episodic_return=-45.79569625854492 global_step=649856, episodic_return=-76.08076477050781 global_step=651376, episodic_return=-52.34415817260742 global_step=651808, episodic_return=-50.55206298828125 global_step=654400, episodic_return=64.3486328125 global_step=655104, episodic_return=-19.125436782836914 SPS: 1122 global_step=656064, episodic_return=-58.196449279785156 global_step=656672, episodic_return=-17.561725616455078 global_step=657664, episodic_return=39.576087951660156 global_step=659440, episodic_return=6.321459770202637 global_step=659728, episodic_return=-82.58165740966797 global_step=660560, episodic_return=-1.7041528224945068 global_step=663584, episodic_return=14.837760925292969 global_step=663632, episodic_return=61.78997802734375 global_step=664560, episodic_return=-15.582736015319824 global_step=664576, episodic_return=-60.58877182006836 global_step=665856, episodic_return=-7.1585822105407715 global_step=667376, episodic_return=-20.14099884033203 global_step=667808, episodic_return=-2.642326593399048 global_step=670400, episodic_return=-105.00476837158203 global_step=671104, episodic_return=-28.603286743164062 SPS: 1102 global_step=672064, episodic_return=-65.04351806640625 global_step=672672, episodic_return=-2.8786561489105225 global_step=673664, episodic_return=58.0265998840332 global_step=675440, episodic_return=91.60887908935547 global_step=675728, episodic_return=-61.98545837402344 global_step=676560, episodic_return=-49.19107437133789 global_step=679584, episodic_return=0.8484888076782227 global_step=679632, episodic_return=-66.78556060791016 global_step=680560, episodic_return=-76.54989624023438 global_step=680576, episodic_return=29.805410385131836 global_step=681840, episodic_return=-169.5358428955078 global_step=681856, episodic_return=-65.7805404663086 global_step=683808, episodic_return=1.0466587543487549 global_step=686400, episodic_return=-77.09365844726562 global_step=687104, episodic_return=-59.27685546875 global_step=687920, episodic_return=-120.17815399169922 global_step=688064, episodic_return=56.531986236572266 SPS: 1077 global_step=688672, episodic_return=-59.324851989746094 global_step=691440, episodic_return=-61.50263977050781 global_step=691728, episodic_return=-45.313514709472656 global_step=692560, episodic_return=-13.953598022460938 global_step=695584, episodic_return=-37.98121643066406 global_step=695632, episodic_return=-15.19998836517334 global_step=696560, episodic_return=-41.79438781738281 global_step=696576, episodic_return=-78.62410736083984 global_step=697840, episodic_return=-31.03781509399414 global_step=697856, episodic_return=-27.689556121826172 global_step=699808, episodic_return=-8.864623069763184 global_step=701936, episodic_return=-168.72122192382812 global_step=702400, episodic_return=-49.64031982421875 global_step=703920, episodic_return=-23.319358825683594 global_step=704064, episodic_return=-36.79377746582031 SPS: 1057 global_step=704672, episodic_return=-52.714088439941406 global_step=707440, episodic_return=-56.656558990478516 global_step=707728, episodic_return=23.190311431884766 global_step=708560, episodic_return=-24.258140563964844 global_step=711584, episodic_return=-14.150022506713867 global_step=711632, episodic_return=-35.30220031738281 global_step=712560, episodic_return=-2.0137927532196045 global_step=712576, episodic_return=-78.73545837402344 global_step=713840, episodic_return=-46.97414779663086 global_step=713856, episodic_return=-31.679296493530273 global_step=715808, episodic_return=-21.927263259887695 global_step=717936, episodic_return=-13.5260591506958 global_step=718400, episodic_return=-44.46792221069336 global_step=719920, episodic_return=-27.75483512878418 global_step=720064, episodic_return=-34.82373809814453 global_step=720672, episodic_return=-81.9122314453125 SPS: 1041 global_step=723440, episodic_return=-37.985836029052734 global_step=723728, episodic_return=-35.63040542602539 global_step=724560, episodic_return=-74.05328369140625 global_step=727584, episodic_return=-72.38853454589844 global_step=727632, episodic_return=-87.3012466430664 global_step=727712, episodic_return=-148.45870971679688 global_step=728560, episodic_return=-20.05234146118164 global_step=729840, episodic_return=-6.572160243988037 global_step=729856, episodic_return=-71.8712158203125 global_step=731808, episodic_return=38.5858039855957 global_step=733936, episodic_return=-17.85334014892578 global_step=734400, episodic_return=-11.415968894958496 global_step=735920, episodic_return=-22.488229751586914 global_step=736064, episodic_return=-54.897178649902344 global_step=736672, episodic_return=6.292072772979736 SPS: 1027 global_step=739440, episodic_return=-19.681232452392578 global_step=739728, episodic_return=-18.050111770629883 global_step=740560, episodic_return=-28.09638023376465 global_step=743584, episodic_return=20.430702209472656 global_step=743632, episodic_return=-38.297367095947266 global_step=743712, episodic_return=25.84748077392578 global_step=744560, episodic_return=78.94225311279297 global_step=745840, episodic_return=-87.7666244506836 global_step=745856, episodic_return=-37.09314727783203 global_step=747808, episodic_return=13.804429054260254 global_step=749936, episodic_return=-56.09326934814453 global_step=750400, episodic_return=-8.85500717163086 global_step=751920, episodic_return=-19.801498413085938 global_step=752064, episodic_return=-57.90840530395508 global_step=752672, episodic_return=-73.62544250488281 SPS: 1007 global_step=755440, episodic_return=7.802353382110596 global_step=755728, episodic_return=8.104094505310059 global_step=756560, episodic_return=-9.986712455749512 global_step=759584, episodic_return=78.63367462158203 global_step=759632, episodic_return=12.357104301452637 global_step=759712, episodic_return=-35.58080291748047 global_step=760560, episodic_return=-49.039306640625 global_step=761840, episodic_return=-24.757190704345703 global_step=761856, episodic_return=-32.98968505859375 global_step=763808, episodic_return=-21.11659049987793 global_step=765936, episodic_return=-11.775323867797852 global_step=766400, episodic_return=-11.32288932800293 global_step=767920, episodic_return=-75.23767852783203 global_step=768064, episodic_return=-20.024398803710938 global_step=768672, episodic_return=-98.88506317138672 SPS: 989 global_step=771440, episodic_return=-41.17448043823242 global_step=771728, episodic_return=-50.60972213745117 global_step=772560, episodic_return=40.5203857421875 global_step=775584, episodic_return=-62.86912155151367 global_step=775632, episodic_return=-49.38764190673828 global_step=775712, episodic_return=-21.214242935180664 global_step=776560, episodic_return=16.50482749938965 global_step=777840, episodic_return=-98.54612731933594 global_step=777856, episodic_return=-52.08161926269531 global_step=779808, episodic_return=-75.10488891601562 global_step=781936, episodic_return=-58.588932037353516 global_step=782400, episodic_return=-110.59845733642578 global_step=783920, episodic_return=-40.78063201904297 global_step=784064, episodic_return=-28.22757911682129 global_step=784672, episodic_return=-69.604248046875 SPS: 977 global_step=787440, episodic_return=-96.86910247802734 global_step=787728, episodic_return=2.5718963146209717 global_step=788560, episodic_return=-61.45207977294922 global_step=791584, episodic_return=-61.151268005371094 global_step=791632, episodic_return=-22.362979888916016 global_step=791712, episodic_return=-82.28134155273438 global_step=792560, episodic_return=-38.77355194091797 global_step=793840, episodic_return=-35.359458923339844 global_step=793856, episodic_return=-66.70519256591797 global_step=795808, episodic_return=-60.31380081176758 global_step=797936, episodic_return=5.316726207733154 global_step=798400, episodic_return=2.508979082107544 global_step=799920, episodic_return=-8.28132152557373 global_step=800064, episodic_return=-66.26689910888672 global_step=800672, episodic_return=-20.614904403686523 SPS: 967 global_step=803440, episodic_return=-42.76753234863281 global_step=803728, episodic_return=-26.630361557006836 global_step=804560, episodic_return=-46.11769485473633 global_step=807584, episodic_return=-36.04255294799805 global_step=807632, episodic_return=-43.19883346557617 global_step=807712, episodic_return=-91.7063217163086 global_step=808560, episodic_return=-57.35855484008789 global_step=809840, episodic_return=-64.5593490600586 global_step=809856, episodic_return=-36.86104202270508 global_step=811808, episodic_return=-61.8238410949707 global_step=813936, episodic_return=-61.415679931640625 global_step=814400, episodic_return=-41.391700744628906 global_step=815920, episodic_return=-19.387279510498047 global_step=816064, episodic_return=-23.038755416870117 global_step=816672, episodic_return=-52.23060989379883 SPS: 955 global_step=819440, episodic_return=-15.935518264770508 global_step=819728, episodic_return=-40.31439971923828 global_step=820560, episodic_return=-46.31856918334961 global_step=823584, episodic_return=-50.915771484375 global_step=823632, episodic_return=-57.10965347290039 global_step=823712, episodic_return=-24.058809280395508 global_step=824560, episodic_return=-52.09393310546875 global_step=825840, episodic_return=-27.919235229492188 global_step=825856, episodic_return=-22.3601131439209 global_step=827808, episodic_return=-18.630266189575195 global_step=829936, episodic_return=-47.20053482055664 global_step=830400, episodic_return=-40.91317367553711 global_step=831920, episodic_return=-39.32439041137695 global_step=832064, episodic_return=-53.18571853637695 global_step=832672, episodic_return=31.69143295288086 global_step=835440, episodic_return=-2.6084606647491455 SPS: 943 global_step=835728, episodic_return=1.078978419303894 global_step=836560, episodic_return=5.400619029998779 global_step=839584, episodic_return=-19.932966232299805 global_step=839632, episodic_return=-52.55421447753906 global_step=839712, episodic_return=-63.91484832763672 global_step=840560, episodic_return=-40.138221740722656 global_step=841840, episodic_return=-71.30529022216797 global_step=841856, episodic_return=-36.840763092041016 global_step=843808, episodic_return=-3.5477960109710693 global_step=845936, episodic_return=-42.488609313964844 global_step=846400, episodic_return=-18.8413143157959 global_step=847920, episodic_return=12.441234588623047 global_step=848064, episodic_return=-2.3760547637939453 global_step=848672, episodic_return=-13.792573928833008 global_step=851168, episodic_return=-93.29425811767578 global_step=851440, episodic_return=0.5439380407333374 SPS: 935 global_step=852560, episodic_return=-20.442590713500977 global_step=855584, episodic_return=5.617112636566162 global_step=855632, episodic_return=-46.53750228881836 global_step=855712, episodic_return=-50.42402648925781 global_step=856560, episodic_return=-4.25016975402832 global_step=857840, episodic_return=-10.645037651062012 global_step=857856, episodic_return=-10.009429931640625 global_step=859808, episodic_return=-24.61307144165039 global_step=861936, episodic_return=-71.70923614501953 global_step=862160, episodic_return=-132.1636962890625 global_step=863920, episodic_return=7.069490432739258 global_step=864064, episodic_return=-58.91592025756836 global_step=864672, episodic_return=-14.068313598632812 global_step=867168, episodic_return=-53.08543014526367 global_step=867440, episodic_return=4.81681489944458 SPS: 927 global_step=868560, episodic_return=-59.01811218261719 global_step=871584, episodic_return=-35.73882293701172 global_step=871632, episodic_return=-32.76932144165039 global_step=871712, episodic_return=-41.79187774658203 global_step=872560, episodic_return=-38.03692626953125 global_step=873840, episodic_return=-84.46305084228516 global_step=873856, episodic_return=-54.35830307006836 global_step=875808, episodic_return=-45.28117752075195 global_step=877936, episodic_return=-97.43524169921875 global_step=878160, episodic_return=-69.26810455322266 global_step=879920, episodic_return=-15.488874435424805 global_step=880064, episodic_return=-9.010194778442383 global_step=880672, episodic_return=-16.46945571899414 global_step=882976, episodic_return=-93.846923828125 global_step=883168, episodic_return=-34.78554153442383 global_step=883440, episodic_return=-62.22875213623047 global_step=884560, episodic_return=-46.463809967041016 SPS: 920 global_step=887632, episodic_return=-28.569561004638672 global_step=887712, episodic_return=-24.224998474121094 global_step=888560, episodic_return=-64.75236511230469 global_step=889840, episodic_return=-47.53144836425781 global_step=889856, episodic_return=-76.2373275756836 global_step=891808, episodic_return=-63.09095001220703 global_step=893936, episodic_return=-64.3909912109375 global_step=894160, episodic_return=-69.13726806640625 global_step=895920, episodic_return=-47.732688903808594 global_step=896064, episodic_return=-79.99195098876953 global_step=896672, episodic_return=-17.49022102355957 global_step=898976, episodic_return=-25.026212692260742 global_step=899168, episodic_return=-44.224693298339844 global_step=899440, episodic_return=-57.305702209472656 global_step=900560, episodic_return=-60.117549896240234 SPS: 912 global_step=903632, episodic_return=-30.529293060302734 global_step=903712, episodic_return=-50.61562728881836 global_step=904384, episodic_return=-125.05267333984375 global_step=904560, episodic_return=-75.34943389892578 global_step=905840, episodic_return=-11.066044807434082 global_step=907808, episodic_return=-57.960880279541016 global_step=909936, episodic_return=-88.09038543701172 global_step=910160, episodic_return=-79.35802459716797 global_step=911920, episodic_return=-71.99474334716797 global_step=912064, episodic_return=-40.559574127197266 global_step=912672, episodic_return=-20.729951858520508 global_step=914976, episodic_return=-34.89371871948242 global_step=915168, episodic_return=-60.83966827392578 global_step=915440, episodic_return=-32.922119140625 global_step=916560, episodic_return=-62.04962921142578 SPS: 903 global_step=919632, episodic_return=-16.705747604370117 global_step=919712, episodic_return=-83.00220489501953 global_step=920384, episodic_return=-63.214237213134766 global_step=920560, episodic_return=-13.603204727172852 global_step=921840, episodic_return=-19.764667510986328 global_step=923808, episodic_return=-49.1024055480957 global_step=925936, episodic_return=-40.36162567138672 global_step=926160, episodic_return=-26.26399803161621 global_step=927920, episodic_return=-32.27657699584961 global_step=928064, episodic_return=-30.54542350769043 global_step=928672, episodic_return=-43.302371978759766 global_step=930976, episodic_return=-55.2562370300293 global_step=931168, episodic_return=-60.46529006958008 global_step=931440, episodic_return=-21.014284133911133 global_step=932560, episodic_return=-2.3327078819274902 SPS: 893 global_step=935632, episodic_return=-46.777889251708984 global_step=935712, episodic_return=-55.85356903076172 global_step=936384, episodic_return=-39.14579772949219 global_step=936560, episodic_return=-48.86825180053711 global_step=937840, episodic_return=-25.972436904907227 global_step=939808, episodic_return=-18.061309814453125 global_step=941936, episodic_return=-28.50227928161621 global_step=942160, episodic_return=-16.178272247314453 global_step=943920, episodic_return=-31.16666030883789 global_step=944064, episodic_return=-10.303422927856445 global_step=944672, episodic_return=-54.4242057800293 global_step=946976, episodic_return=15.426554679870605 global_step=947168, episodic_return=-72.47555541992188 global_step=947440, episodic_return=-76.3385009765625 global_step=948560, episodic_return=-32.69784927368164 global_step=948736, episodic_return=-128.80209350585938 SPS: 887 global_step=951632, episodic_return=-93.77393341064453 global_step=952384, episodic_return=-5.584721088409424 global_step=952560, episodic_return=-19.87587547302246 global_step=953840, episodic_return=18.99138832092285 global_step=955808, episodic_return=-69.81041717529297 global_step=957936, episodic_return=-90.87081909179688 global_step=958160, episodic_return=-24.207441329956055 global_step=959920, episodic_return=-57.140445709228516 global_step=960064, episodic_return=-47.874183654785156 global_step=960672, episodic_return=-59.70409393310547 global_step=962976, episodic_return=-58.57317352294922 global_step=963168, episodic_return=-50.90121078491211 global_step=963440, episodic_return=-3.069378137588501 global_step=964560, episodic_return=-34.881465911865234 global_step=964736, episodic_return=-16.174095153808594 SPS: 879 global_step=967632, episodic_return=-28.36850357055664 global_step=968384, episodic_return=-38.97354507446289 global_step=968560, episodic_return=-35.393028259277344 global_step=969840, episodic_return=-46.70807647705078 global_step=971808, episodic_return=-72.43460083007812 global_step=973936, episodic_return=-26.66244888305664 global_step=974160, episodic_return=-80.98158264160156 global_step=975920, episodic_return=-70.65483093261719 global_step=976064, episodic_return=-20.82755470275879 global_step=976672, episodic_return=-17.952926635742188 global_step=978976, episodic_return=-24.404525756835938 global_step=979168, episodic_return=-15.646651268005371 global_step=979440, episodic_return=-22.7937068939209 global_step=980560, episodic_return=-41.503318786621094 global_step=980736, episodic_return=-18.533647537231445 SPS: 872 global_step=983632, episodic_return=-20.04002571105957 global_step=984384, episodic_return=-43.048404693603516 global_step=984560, episodic_return=-83.1815414428711 global_step=985840, episodic_return=-7.428437232971191 global_step=987808, episodic_return=-53.45641326904297 global_step=989936, episodic_return=-64.7074966430664 global_step=990160, episodic_return=-17.598058700561523 global_step=991920, episodic_return=-17.41278076171875 global_step=992064, episodic_return=-23.447025299072266 global_step=992672, episodic_return=-34.65542984008789 global_step=994976, episodic_return=-25.816532135009766 global_step=995168, episodic_return=-7.749979019165039 global_step=995440, episodic_return=-34.42374038696289 global_step=996560, episodic_return=39.04469680786133 global_step=996736, episodic_return=-63.803680419921875 SPS: 867 ℹ This function will save, evaluate, generate a video of your agent, create a model card and push everything to the hub. It might take up to 1min. This is a work in progress: if you encounter a bug, please open an issue. ALSA lib confmisc.c:855:(parse_card) cannot find card '0' ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_card_inum returned error: No such file or directory ALSA lib confmisc.c:422:(snd_func_concat) error evaluating strings ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_concat returned error: No such file or directory ALSA lib confmisc.c:1334:(snd_func_refer) error evaluating name ALSA lib conf.c:5178:(_snd_config_evaluate) function snd_func_refer returned error: No such file or directory ALSA lib conf.c:5701:(snd_config_expand) Evaluate error: No such file or directory ALSA lib pcm.c:2664:(snd_pcm_open_noupdate) Unknown PCM default IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size=16, resizing from (600, 400) to (608, 400) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility). ℹ Pushing repo Chiz/ppo-LunarLander-v2 to the Hugging Face Hub Processing Files (0 / 0) : | | 0.00B / 0.00B New Data Upload : | | 0.00B / 0.00B ...7928.86cf83882442.13633.0: 100% 397k/397k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/replay.mp4 : 100% 237k/237k [00:00<?, ?B/s] ...7928.86cf83882442.13633.0: 100% 397k/397k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] Processing Files (3 / 3) : 100% 678k/678k [00:00<00:00, 838kB/s, 1.13MB/s ] New Data Upload : 100% 678k/678k [00:00<00:00, 838kB/s, 1.13MB/s ] ...7928.86cf83882442.13633.0: 100% 397k/397k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/replay.mp4 : 100% 237k/237k [00:00<?, ?B/s] ...7928.86cf83882442.13633.0: 100% 397k/397k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] Processing Files (3 / 3) : 100% 678k/678k [00:01<00:00, 671kB/s, 847kB/s ] New Data Upload : 100% 678k/678k [00:01<00:00, 672kB/s, 847kB/s ] ...7928.86cf83882442.13633.0: 100% 397k/397k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmpc0m_uo87/replay.mp4 : 100% 237k/237k [00:00<?, ?B/s] ℹ Your model is pushed to the Hub. You can view your model here: https://huggingface.co/Chiz/ppo-LunarLander-v2/commit/6d5bf9f4b3157358049032b0199659980db45a2d
In [11]:
!python ppo.py \
--env-id="LunarLander-v3" \
--repo-id="Chiz/ppo-LunarLander-v3-02" \
--total-timesteps=5000000 \
--learning-rate=2e-4 \
--num-envs=16 \
--num-steps=2048 \
--gamma=0.999 \
--gae-lambda=0.95 \
--num-minibatches=32 \
--update-epochs=10 \
--ent-coef=0.01 \
--anneal-lr=True
2026-02-18 15:53:23.695390: E external/local_xla/xla/stream_executor/cuda/cuda_fft.cc:467] Unable to register cuFFT factory: Attempting to register factory for plugin cuFFT when one has already been registered WARNING: All log messages before absl::InitializeLog() is called are written to STDERR E0000 00:00:1771430003.716647 9148 cuda_dnn.cc:8579] Unable to register cuDNN factory: Attempting to register factory for plugin cuDNN when one has already been registered E0000 00:00:1771430003.723806 9148 cuda_blas.cc:1407] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered W0000 00:00:1771430003.742137 9148 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771430003.742159 9148 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771430003.742163 9148 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. W0000 00:00:1771430003.742168 9148 computation_placer.cc:177] computation placer already registered. Please check linkage and avoid linking the same target more than once. 2026-02-18 15:53:23.747178: I tensorflow/core/platform/cpu_feature_guard.cc:210] This TensorFlow binary is optimized to use available CPU instructions in performance-critical operations. To enable the following instructions: AVX2 AVX512F FMA, in other operations, rebuild TensorFlow with the appropriate compiler flags. SPS: 3357 SPS: 3494 SPS: 3588 SPS: 3588 SPS: 3517 SPS: 3503 SPS: 3546 SPS: 3554 SPS: 3551 SPS: 3540 SPS: 3558 SPS: 3549 SPS: 3541 SPS: 3528 SPS: 3541 SPS: 3538 SPS: 3535 SPS: 3528 SPS: 3533 SPS: 3537 SPS: 3539 SPS: 3538 SPS: 3549 SPS: 3553 SPS: 3556 SPS: 3555 SPS: 3565 SPS: 3566 SPS: 3566 SPS: 3563 SPS: 3570 SPS: 3568 SPS: 3567 SPS: 3564 SPS: 3570 SPS: 3569 SPS: 3568 SPS: 3563 SPS: 3564 SPS: 3566 SPS: 3566 SPS: 3564 SPS: 3566 SPS: 3568 SPS: 3568 SPS: 3566 SPS: 3565 SPS: 3568 SPS: 3567 SPS: 3567 SPS: 3564 SPS: 3568 SPS: 3568 SPS: 3566 SPS: 3563 SPS: 3567 SPS: 3566 SPS: 3566 SPS: 3563 SPS: 3566 SPS: 3565 SPS: 3565 SPS: 3562 SPS: 3563 SPS: 3563 SPS: 3560 SPS: 3556 SPS: 3553 SPS: 3555 SPS: 3553 SPS: 3552 SPS: 3548 SPS: 3545 SPS: 3546 SPS: 3544 SPS: 3542 SPS: 3539 SPS: 3540 SPS: 3538 SPS: 3536 SPS: 3534 SPS: 3532 SPS: 3533 SPS: 3532 SPS: 3530 SPS: 3528 SPS: 3529 SPS: 3529 SPS: 3528 SPS: 3526 SPS: 3524 SPS: 3526 SPS: 3525 SPS: 3524 SPS: 3521 SPS: 3521 SPS: 3521 SPS: 3521 SPS: 3520 SPS: 3519 SPS: 3521 SPS: 3520 SPS: 3520 SPS: 3518 SPS: 3517 SPS: 3517 SPS: 3517 SPS: 3516 SPS: 3515 SPS: 3517 SPS: 3516 SPS: 3516 SPS: 3515 SPS: 3517 SPS: 3517 SPS: 3517 SPS: 3516 SPS: 3516 SPS: 3516 SPS: 3515 SPS: 3514 SPS: 3513 SPS: 3515 SPS: 3514 SPS: 3513 SPS: 3512 SPS: 3512 SPS: 3513 SPS: 3513 SPS: 3512 SPS: 3510 SPS: 3511 SPS: 3511 SPS: 3510 SPS: 3510 SPS: 3510 SPS: 3510 SPS: 3510 SPS: 3509 SPS: 3508 SPS: 3510 SPS: 3510 SPS: 3510 SPS: 3509 SPS: 3511 SPS: 3511 SPS: 3511 SPS: 3510 SPS: 3511 SPS: 3511 SPS: 3511 SPS: 3510 ℹ This function will save, evaluate, generate a video of your agent, create a model card and push everything to the hub. It might take up to 1min. This is a work in progress: if you encounter a bug, please open an issue. IMAGEIO FFMPEG_WRITER WARNING: input image is not divisible by macro_block_size=16, resizing from (600, 400) to (608, 400) to ensure video compatibility with most codecs and players. To prevent resizing, make your input image divisible by the macro_block_size or set the macro_block_size to 1 (risking incompatibility). ℹ Pushing repo Chiz/ppo-LunarLander-v3-02 to the Hugging Face Hub Processing Files (0 / 0) : | | 0.00B / 0.00B New Data Upload : | | 0.00B / 0.00B ...30010.791a818e4bed.9148.0: 100% 79.8k/79.8k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/replay.mp4 : 100% 155k/155k [00:00<?, ?B/s] ...30010.791a818e4bed.9148.0: 100% 79.8k/79.8k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] Processing Files (3 / 3) : 100% 278k/278k [00:00<00:00, 342kB/s, 463kB/s ] New Data Upload : 100% 278k/278k [00:00<00:00, 343kB/s, 463kB/s ] ...30010.791a818e4bed.9148.0: 100% 79.8k/79.8k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/replay.mp4 : 100% 155k/155k [00:00<?, ?B/s] ...30010.791a818e4bed.9148.0: 100% 79.8k/79.8k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] Processing Files (3 / 3) : 100% 278k/278k [00:01<00:00, 275kB/s, 347kB/s ] New Data Upload : 100% 278k/278k [00:01<00:00, 275kB/s, 347kB/s ] ...30010.791a818e4bed.9148.0: 100% 79.8k/79.8k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/model.pt : 100% 43.4k/43.4k [00:00<?, ?B/s] /tmp/tmp9owgl7t7/replay.mp4 : 100% 155k/155k [00:00<?, ?B/s] ℹ Your model is pushed to the Hub. You can view your model here: https://huggingface.co/Chiz/ppo-LunarLander-v3-02/commit/1341da3d2e9e69a307bc5140f6257ea81aa85c31
Huggingface mean_reward on LunarLander-v2 self-reported: 137.76 +/- 84.47¶
Some additional challenges 🏆¶
The best way to learn is to try things by your own! Why not trying another environment?
See you on Unit 8, part 2 where we going to train agents to play Doom 🔥