모집마감

구로캠퍼스

토 / 오후 2:00~4:00

KAIR(Korea Artificial Intelligence and Robotics)

LAB 참가 신청서 작성

KAIR 2차 프로젝트 모집

모집기간 : 4/20(토) ~ 5/3(토)
목표 : model-based를 활용한 OpenManipulator 학습
  • 아직 특정 task를 정하진 않았으며, model-based 리서치를 약 1달 정도 하면서 가능한 연구 범위를 선정할 생각입니다.
모집 분야
  • 강화학습
  • 로보틱스
  • 위 2가지 지원하신 분들 중 운영에 참여하고 싶으신 분도 지원 받습니다.(optional)
모집 요건
  • model-based RL 연구 주제에 관심이 있으신 분 (우선순위 1)
  • 강화학습, 로보틱스 중 한가지 이상 기여하실 수 있으신 분(1차 프로젝트로 진행한 내용을 참고하시면 좋을 듯 합니다. kair 1차 프로젝트 repo) (우선순위 2)
  • GitHub, slack을 통한 협업이 크게 어렵지 않으신 분 (우선순위 3)
예상 산출물
  • 논문, 동영상, 블로그
모집 절차
  • 자기 소개 부탁드립니다. 관심 분야와 현재 하고 계신 일, 기여하고 싶으신 분야 위주로 작성해주세요.
  • 서류 검토 후에 화상이나 대면으로(optional) 면접을 진행할 예정입니다. 대면이면 맛있는 밥이나 커피를 사드리겠습니다…

KAIR 및 1차 프로젝트 소개

KAIR 소개

모두의 연구소 소속 랩으로, 강화학습과 로보틱스 연구를 목적으로 하고 있습니다.

프로젝트 목적

최근 강화학습 분야 연구가 활발하게 이루어지면서 로봇의 복잡한 제어에 활용하는 연구가 많아지고 있습니다.(covariant.ai와 같은 기업도 생겨나고 있습니다.) 대학 중에서는 UC Berkeley에서 가장 활발하게 연구를 진행하고 있습니다. 강화학습만 봤을 때, 튜토리얼, 공개 코드들이 많아 쉽게 연구를 시작할 수 있는 반면에 강화학습, 로보틱스 두 개의 접목된 분야를 관심이 있어서 시작하기에 로봇도 너무 비싼 편이며(많이 연구 용으로 사용되는 UR의 경우 대략 2,000만원), 하드웨어, 소프트웨어 모두 end-to-end로 다루는 튜토리얼도 많지 않아 대학원을 가지 않고 연구를 시작하기에 어려움이 있습니다. 이러한 문제를 해결하기 위해서 저렴한 로봇인 로보티즈OpenManipulator를 구매하고 하드웨어 설치, 이슈 해결 및 소프트웨어 적으로 강화학습 환경 및 알고리즘 구현, 제어기 조작으로 demonstration 데이터 생성 등을 전부 구현하였으며 관심이 있는 사람들이 쉽게 연구나 공부를 시작 할 수 있도록 기여하려고 합니다.

프로젝트 내용
  • TLDR
    OpenManipulator를 구매하고 로보틱스 지식을 활용해서 demonstration 데이터를 모으는 코드를 구현하고, 강화학습 최신 알고리즘(TD3, SAC)을 구현한 뒤에 demonstration 데이터를 활용하여 특정 위치로 이동하라는 명령을 주었을 때 이동하게끔 학습시키는 내용입니다.
  • 로보틱스
    • 설치 및 이슈 trouble shooting
    • 강화학습 시에 필요한 현실 demonstration 데이터 획득을 위해서 Dynamixel제어기 활용 및 구현
  • 환경
    ROS, gazebo: 구현되어 있는 gazebo 시뮬레이터를 ROS 통신을 활용해서 현재 상태(state) 값을 읽고 움직임(action)을 전달할 수 있는 환경을 파이썬 코드로 구현하여 강화학습으로 학습시킬 수 있도록 합니다. 이 때, 주로 강화학습에서는 OpenAi Gym template을 많이 활용하기 때문에 저희도 이러한 구조로 구현을 하였습니다.
  • 강화학습
    • TD3 알고리즘, 구현 코드, 성능 검증 결과 소개
    • SAC 알고리즘, 구현 코드, 성능 검증 결과 소개
    • sim2real 성능 개선을 위한 domain randomization 구현 내용 공유
    • OpenManipulator gazebo 시뮬레이터 학습 결과 공유
    • 시뮬레이터에서 학습된 에이전트를 실제 환경에 적용했을 때(sim2real) 결과 공유
기타 사항

4월 말을 타겟으로 현재 활발하게 수정 및 보완을 하고 있고 5월 중으로 결과를 정리해서 논문/동영상/repo을 공개할 예정입니다.

랩짱

권휘/민철희/정원석