Learning to play DCSS with Deep Reinforcement Learning

Abstract

DCSS is a roguelike game in which the player must explore and find artifacts. In every step of the game, there are decisions to make, and the complexity of the game resides in the vast amount of options available to the player at any given time. The commands can be divided into classes such as movement, combat, inventory management and usage, spell casting, and divine abilities. We aim to implement an intelligent bot that will be able to play the game. To do so, we will use DRL. DRL is where deep learning and RL meets. It uses the same principles of RL, to learn to perform a task, receiving rewards for every action made. The difference is that the action we will perform is chosen by a DNN, and therefore, we call it DRL PyTorch[11] will be as the framework used to implement a NN that will be able to find the solution for every small decision that can be made during gameplay. If all of those decisions are merged, an intelligent bot should be able to play with some degree of success. The aim of the intelligent bot is to learn a task, which in this case, is playing the game, without programming any real behavior.

DCSS é um jogo roguelike no qual o jogador deve explorar e encontrar artefactos. A cada passo do jogo existem decisões a tomar e a complexidade do jogo reside na grande quanti-dade de opções disponíveis para o jogar a cada momento do jogo. Os comandos podem ser divididos em desses como: movimento, combate, gestão e utilização de inventário, magia e abilidades divinas. O objetivo é implementar um bot inteligente capaz de jogar o jogo. Para tal usar-se-á DRL. DRL é a área onde deep learning e RL se encontram. Usa os mesmos princípios de RL, para aprender a realizar uma tarefa, recebendo uma recompensa por cada ação efetuada. A diferença é que a ação vai ser escolhida por uma DNN. Durante o projeto utilizar-se-à PyTorch[i i] como a framework para implementar uma NN que irá ser capaz de encontrar uma solução para cada pequena decisão que pode ser efetuada ao longo do jogo. Tomadas todas essas decisões, o bot deve ser capaz de jogar o jogo com algum grau de sucesso. O objetivo de um bot inteligente é aprender uma tarefa, neste caso, jogar o jogo, sem programar qualquer comportamento.