TIL - 강화 학습 로드맵 세우기

2018-12-22

오늘은 원래 강화 학습 스터디를 하는 날이었는데.. 아쉽게도 취소가 되어서, 강화 학습 공부를 어떻게 해야 좋을지 로드맵을 세워보기로 했습니다.


Strategy

강화학습같은 분야는 수학적인 배경이 많이 필요하다고 생각이 됩니다. 그래서 필요할 때 그때그때 찾아가면서 공부하더라도 그 시간까지 생각해서 계획을 세우는게 바람직하겠죠?

더불어 저는 지금 회사를 다니고 있어서 많은 시간을 내 공부하기가 어려운 상황입니다. 그리고 다양한 공간에서 배울 수 있는 자료를 선호하기 때문에 순수 글보다는 미디어 자료를 조금 더 선호하는 편입니다.

여기에 딥러닝 역시 배우려고 딥러닝 분야로도 조사를 했습니다. 강화학습을 배우는데 왠 딥러닝? 이라는 생각을 할 수도 있지만.. 사실상 RL 알고리즘 하나만으로는 의미있는 결과를 만들기 어렵고 신경망이라는 개념 자체가 워낙 광범위하게 쓰이는 개념이다보니 딥러닝도 배워야겠다는 생각이 들더군요. (자료를 좀 찾아보니까 RL이든 뭐든 딥러닝이 그냥 기본인듯..)

이런 몇 가지 관점에서, 단계적으로 로드맵을 만들어보았습니다.


Step 1

Step 1은 약 3개월의 과정입니다. 딥러닝과 강화학습의 기초와 분야를 배웁니다.

deeplearning.ai

딥러닝 분야의 정말 유명한 강의입니다.

인터넷을 통해서 접한 많은 글들이 추천하고 있기도 하고, Coursera에서 Specialization으로 등록되어 있어서 수료를 모두 하면 기록으로도 남는다고 해서 첫 번째로 선택하게 됬습니다.

다행히 딥러닝쪽은 어느 정도 배경 지식이 있어서 그렇게 어렵지는 않을 것 같아요.

Deep Reinforcement Learning Hands-on

이 책은 Packt 출판사에서 출판한 책입니다. 텐서플로우 KR 블로그에서 추천을 하길래 서론을 조금 읽어 봤는데, 읽기 편하고 어떤 시작점을 잡기에 좋은 것 같더라구요. (무엇보다 제가 Packt 월간 구독을 하고 있어서..)

어쨌든 이 책으로 강화학습의 기본적인 개념과 분야를 알아보려고 해요.


여기까지 쓰고 딱 뇌 정지.. 분야를 모르니까 아무런 생각이 안들더구만요..

아무래도 로드맵이라는 건 먼저 간 사람들이 쓰는건가봅니다.


Step 2

Step 2는 정해진 기간은 없지만 어떤 방향으로 연구를 하면 좋을지를 정하는 기간입니다. 다량의 논문을 읽고 필드에 대한 지식을 쌓으면 조금씩 길이 보이겠죠..

연구는 해본적이 없어서 어떻게 해야할지 막막하지만, 서두를 필요는 없겠죠?

List of papers

그래도 조금 조사를 해보니 큐레이션해놓은 분들이 꽤 많이 계시더라구요.


Reference / Materials