ABOUT ME

about

Today
Yesterday
Total
  • 강화학습|Mujoco 설치 및 학생용 무료 계정으로 사용하기 (MacOS)
    Reinforcement Learning/Environments 2020. 6. 21. 04:45

    #Mujoco #강화학습 #환경설정 #Reinforcement Learning #Mac #MacOS

     

     

     

     

     


     

    중력이... 작용한다......

     

     

     

     

     

     

    안녕하세요!

     

    오늘은 강화학습을 구현할 때 많이 사용되는 Mujoco 환경을 학생용 계정으로 무료로 사용하는 방법에 대해 포스팅해보겠습니다. 😆

    Mujoco는 중력이 작용하는 물리 엔진을 구현해서 만든 다양한 가상환경을 제공하는 소프트웨어로, 현실과 비슷한 환경이 필요한 강화학습 알고리즘을 연구 및 실험할 때 많이 사용됩니다. 

     

    Mujoco 공식 사이트에서 데모 영상을 보실 수 있는데요, 언뜻 보아도 굉장히 정교하게 설계되었다는 느낌을 받았습니다. 자원이 많이 투입된 것으로 보이는데, 그런만큼 Mujoco는 개인/기업 모두 유료로 사용하도록 되어있습니다. 다만, 학생들에게는 교육 목적으로 무료 계정을 제공하고 있습니다.

    학생 계정은 Mujoco 사이트의 "Personal - Student" 옵션에서 신청할 수 있습니다. 다만, 학교 계정으로 메일을 받을 수 있어야 가능합니다.

     

     

     

    GDP가 USA의 50%보다 낮은 국가에게는 50% 할인도 해주는군요. 오호..

     

    아래의 칸에 이름, (학교)이메일, 도시, 국가, 기관을 차례로 입력합니다.

    저는 City and State는 Seoul로, Country는 South Korea, Organocation은 대학교 이름을 적었습니다.

     

     

     

     

    'Student' 체크란에 체크를 하고 Request License를 누르면 다음과 같은 창이 뜹니다.

     

     

     

     

    동시에 학교 메일로 "MuJoCo Pro Personal Account" 제목의 메일이 도착합니다. 메일에는 다음과 같이 제 Account Number가 적혀있습니다.

     

     

     

    그렇다면 이제 다시 Mujoco 사이트로 돌아와서 Step 3를 할 차례입니다.

     

     

     

     

    Account Number는 받았으니, 사용할 Computer id를 입력해야 합니다.

    저는 Mac을 사용중이라, OSX를 클릭해서 getid_osx 라는 파일을 다운받았습니다.

     

    파일을 다운받으면 터미널에서 실행시키면 되는데, 아마 권한 문제가 발생할 겁니다. 다음과 같은 명령어로 파일의 실행 권한을 변경해서 실행할 수 있도록 만들어줍니다.

     

    $ chmod -f 711 getid_osx

     

    그 후에는 다음 명령어로 간단히 실행시켜줍니다.

     

    $ sudo ./getid_osx

     

     

    그러면 다음과 같이 sudo 명령어를 실행하기 위해 컴퓨터의 계정 비밀번호를 입력하게 하고, 잘 입력하고 나면 내 컴퓨터의 id를 알려줍니다. 

    OSX_xxxxx 와 같이 생긴 id를 잘 복사해서 Mujoco 사이트로 돌아가 Computer id 칸에 입력해줍니다.

     

     

     

    무사히 입력하고 나면 다음과 같이 성공 화면을 만나게 됩니다!

     

     

     

    동시에 학교 메일로 다시 "MuJoCo Pro Personal Activation Key" 제목의 메일이 도착합니다.

    이번 메일에는 첨부파일이 들어가 있습니다.

     

     

    mjkey.txt 파일을 저장해줍니다. 

     

     

    아직 한 가지 더 설치해야 할 것이 남았습니다. 바로 Mujoco를 OpenAI의 강화학습 라이브러리인 gym에서 사용할 수 있도록 해주는 mujoco-py 라이브러리입니다. 공식 깃헙 페이지에서 다운받을 수 있습니다. 

     

    pip 명령어로 설치해도 된다고 하는데, 아마 버전 문제로 에러가 많이 나나봅니다. 그냥 git clone을 활용해서 최신 깃허브 코드를 내려받는 편이 속편합니다.

     

    $ git clone github.com/openai/mujoco-py.git

    $ cd mujoco-py

    $ python setup.py install

     

     

    설치가 잘 완료되면, 마지막으로 Mujoco 소프트웨어를 다운받습니다.

     

     

    저는 mujoco200 macos 를 다운받았습니다. zip 형태의 파일로 다운받아지면, unzip 을 합니다. 저는 mujoco200_macos 이름의 폴더로 unzip이 되었는데, mujoco-py 라이브러리가 폴더를 인식하기 위해서는 폴더명을 mujoco200 로 수정해주어야 합니다.

     

    그 후 홈 디렉토리에 숨김폴더 .mujoco 를 만들어줍니다.

     

    $ cd ~

    $ mkdir .mujoco

     

     

    이제 mujoco200 폴더를 ~/.mujoco 폴더 아래로 옮겨준 후, 무료로 받은 학생 계정을 활성화하기 위해 메일에서 받은 mkjey.txt파일을 다음과 같은 경로 아래에 있도록 두 번 복사해줍니다.

     

    $ ~/.mujoco/mjkey.txt

    $ ~/.mujoco/mujoco200/bin/mjkey.txt

     

     

    완성입니다! 다음 코드로 시뮬레이션을 해볼 수 있습니다.

     

    $ cd ~/.mujoco/mujoco200/bin

    $ ./simulate ../model/humanoid.xml

     

     

     

    시뮬레이션 코드가 잘 작동하면 저렇게 (가상)중력을 못이겨 누워있는 휴머노이드의 모습을 볼 수 있습니다..!

     

    gym 을 직접 이용해서 테스트해보고 싶다면 다음과 같이 python 에서 gym으로 환경을 직접 만들어볼 수 있습니다.

     

     

     

     

    다음과 같이 mujoco.py 가 잘 작동하는 것을 볼 수 있죠! 후후 완성!~!

     

     

     

    그럼 모두 즐거운 강화학습 되시길 바랍니다!!!! 🧚🏼‍♀️

     

     

     

     


     

    # Trouble Shooting

    • 중간에 gcc 관련 에러가 발생하여 brew install gcc 로 gcc를 설치한 후 진행하였습니다.

     

    • 중간에 mac에서 보안 문제로 다음과 같은 창이 뜰 경우,

    • 설정에 들어가 아래에서 '확인 없이 허용'을 클릭해서 다시 열어줍니다.

     

     

    댓글

Designed by Tistory.