'젊은 실시간-바카라사이트 공학자(Young Robot Engineer)' 코너는 한국실시간-바카라사이트학회와 실시간-바카라사이트신문이 공동으로 기획한 시리즈물로 미래 한국 실시간-바카라사이트산업을 이끌어 갈 젊은 실시간-바카라사이트 공학자를 발굴해 소개하는데 있다.

82번째 인터뷰는 한양대 공과대학 융합전자공학부 오윤선 교수다. 오 교수는 1990년생으로 2011년 서울대 전기전자공학부 학사, 2018년 서울대 전기·정보공학부에서 박사 학위를 받았다. 박사 학위를 마치고 2018년 7월부터 2019년 8월까지 미국 브라운대 실시간-바카라사이트연구실에서 박사후 연구원으로 근무하였다. 2019년 10월부터 2021년 8월까지 KIST에서 연구원, 선임연구원을 거쳐 2021년 9월부터 현재의 한양대에서 조교수로 재직하고 있다.

2008년 서울대학교 전기공학부 전자전 금상ㆍ은상, 2010년 은상, 2012~2017년 한국연구재단 글로벌박사펠로우십 선정, 2021년 KIST 영 펠로우, 2024년 제5회 한국인공지능 학술대회 우수 논문상을 수상했다.

주요 연구 분야는 실시간-바카라사이트 지능(Robot intelligence), 작업 계획(Task planning), 의미론적 지도작성(semantic mapping), 파지(grasping) 등이다.

로봇이 '종합 예술'에 가깝다고 생각하는 오 교수는 개인용 로봇이 인간과 함께 삶을 공유하고 동행하는 존재가 되기 위해서는 사용자의 취향과 필요를 정밀하게 이해하고, 이에 적응하는 능력이 필수적이라고 말한다. 결국 로봇의 개인화를 위해 '사람'을 깊이 이해하는 기술과 인간에 대한 연구와 인간 중심 인공지능이 점점 더 중요해질 것이라고 생각한다. 학생들과 함께 새로운 문제를 발굴하고 과감히 도전하면서 세계의 연구자들에게 영감을 줄 수 있는 연구자, 본인이 개발하는 기술이 사회적 약자를 보호하고, 사회적 임팩트를 만들어낼 수 있는 연구를 꾸준히 이어가고 싶다는 오윤선 교수를 만나본다.

▲한양대 공과대학 융합전자공학부 오윤선 교수

Q. 교수님이 운영하고 계신 Robots with Humans Lab에 대한 간단한 소개 부탁드립니다.

Robots with Humans Lab은 이름 그대로, 로봇이 사람과 함께 일상 속에서 조화롭게 동행하기 위해 필요한 인공지능 기술을 연구하는 연구실입니다. 저희는 특히 사람이 필요로 하는 작업을 로봇이 스스로 인지하고, 자율적으로 행동을 계획하고 수행하며, 각기 다른 환경에서도 강인하게 작동할 수 있도록 하는 기술에 관심을 갖고 있습니다. 또한, 사람마다 다른 요구에 맞춰 개인화된 서비스를 제공할 수 있는 로봇 지능을 연구하고 있습니다. 저희 연구실은 로봇 인공지능 분야에서 아직 충분히 다루어지지 않은 새로운 문제를 발굴하고 도전하는 연구를 지향합니다.

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

저희 연구실은 주로 실시간-바카라사이트의 장기 작업 계획(long-horizon task planning)에 관한 연구를 진행하고 있습니다. 이는 실시간-바카라사이트이 언어 형태로 주어진 복잡한 작업 목표를 이해하고, 이를 기반으로 실제 작업을 수행할 수 있도록 하는 기술입니다.

예를 들어, “주방 정리 좀 해줘”와 같은 명령어가 주어졌을 때 실시간-바카라사이트이 이를 이해하고 “식탁 위의 그릇을 치우고, 조리대의 쓰레기를 버린다”와 같은 사람이 이해할 수 있는 수준의 계획을 생성하는 것이 이 연구의 핵심입니다. 이를 위해 실시간-바카라사이트은 주변 환경 정보를 인식하고, 사람의 언어를 해석한 뒤, 이를 구체적인 작업 계획으로 변환하는 과정을 수행해야 합니다.

저희는 이 과정에서 환경 정보를 씬 그래프(scene graph) 형태로 표현하고 대규모 언어모델(LLM), 그래프 신경망(Graph Neural Network:GNN), 트랜스포머(Transformer) 구조를 결합하여 로봇의 행동을 자동으로 생성하는 기술을 개발했습니다. 이 방법은 시뮬레이션과 실제 환경 간의 sim-to-real 갭이 매우 작고, 우수한 성능을 보였습니다. 해당 연구는 인공지능 분야의 권위 있는 학회인 AAAI 2025에서 구두발표(구두발표 채택률 5%이내)로 진행되기도 했습니다. 최근에는 이를 확장하여, LLM을 기반으로 변화하는 환경에 실시간으로 적응하고 실패 시 재계획이 가능한 연구도 진행 중입니다.

▲실시간-바카라사이트의 장기 작업 계획. 실시간-바카라사이트의 장기 계획을 위한 데이터 취득 과정과 실물 실험 모습

▲실시간-바카라사이트의 장기 작업 계획. 작업 계획을 위한 네트워크 모델

또한, 기존 연구가 사람이 명령을 주었을 때 실시간-바카라사이트이 작업을 수행하는 방식이었다면, 이제는 실시간-바카라사이트에게 더 큰 자율성을 부여하여 실시간-바카라사이트이 스스로 해야 할 일을 찾아내는 연구도 진행하고 있습니다. 예를 들어, 가정용 실시간-바카라사이트이 바닥에 떨어진 과자 부스러기나 빨래를 발견하면, 이를 스스로 인식하고 치우는 등의 행동을 수행해야 합니다. 이를 위해 저희는 실시간-바카라사이트이 환경에서 수행해야 할 작업을 스스로 파악하고 지도화하는 task-aware semantic mapping 연구를 진행 중입니다.

▲Task-aware sematic map 전체 구조도

▲실환경에서 생성된 Task-aware semantic map과 이를 통해 골라진 작업 예시

이 외에도, LLM 기반 작업 계획의 최적화 연구, 물류 환경이나 공장에서 안정적이고 효율적으로 물체를 집는 순서를 계획하는 연구, 프라이버시 보호가 중요한 환경에서의 연합 학습(federated learning) 등 다양한 주제를 함께 다루고 있습니다.

Q. 2018년 2월 서울대 전기·정보공학부에서 “Robust Target Tracking and Navigation for Mobile Robots with Guaranteed Performance” 연구로 박사학위를 받으셨는데 어떤 내용인지 소개 부탁드립니다.

제 박사 학위 논문은 실시간-바카라사이트이 불확실성이 있는 환경에서도 일정 수준 이상의 성능을 확률적으로 보장할 수 있는 물체 추적 및 경로 계획 기술에 관한 연구입니다. 먼저, 물체 추적 기술은 움직이는 대상을 실시간-바카라사이트의 센싱 범위 내에서 놓치지 않고 추적하는 문제를 다룹니다. 실시간-바카라사이트은 대상의 이동 경로를 기반으로 다음 위치를 예측하며 추적을 수행하는데, 이 과정에서 예측 모델의 한계나 감지 오류 등으로 인해 필연적으로 불확실성이 발생합니다. 저는 이러한 불확실성을 확률적으로 모델링하고 주어진 환경에서 추적 성공 확률을 최대화하는 최적화 기반의 추적 기법을 제안하였습니다.

▲확률적으로 성능을 보장할 수 있는 대상 추적 기술.

▲3D 상에서의 추적 기술

다음으로, 경로 계획 기술에 대한 연구는 단순히 시작 지점과 도착 지점으로 가는 전통적인 경로 계획 문제를 넘어서, 여러 개의 목표 지점을 특정 순서로 방문해야하는 문제를 다룹니다. 이러한 복잡한 요구사항은 선형시간논리(LTL)를 활용하여 수학적으로 표현되었고, 이를 만족하는 경로를 생성하는 알고리즘을 제안하였습니다.

특히 드론과 같이 외부 외란에 취약한 로봇 플랫폼의 경우, 계획된 경로를 정확히 따르지 못하는 경우가 자주 발생합니다. 이러한 실행 오차를 확률적 모델로 표현하고, 로봇이 실제로 주어진 임무를 성공적으로 수행할 수 있도록 실패 확률을 최소화하는 경로 계획 기법을 개발했습니다. 종합적으로, 이 학위 논문은 로봇이 불확실한 실제 환경에서도 높은 신뢰도로 작업을 수행할 수 있도록 하는 기반 기술을 다룬 연구라고 할 수 있습니다.

▲외란에 강인한 드론 경로 계획 알고리즘

[그림4]
Q. 교수님의 주요 연구 분야가 실시간-바카라사이트 지능(Robot intelligence), 작업 계획(Task planning), 의미론적 지도작성(semantic mapping), 파지(grasping) 등으로 알고 있습니다. 최근 작업계획이나 파지 분야에서의 최신 동향이나 기술적인 트렌드가 있다면 무엇인지 궁금합니다.

작업계획(Task planning) 분야에서는 최근 초거대언어모델(LLM)을 활용한 연구가 활발하게 이루어지고 있습니다. 초기에는 하나의 거대 언어 모델만으로도 장기 작업 계획이 가능함을 보여주는 연구가 주를 이루었다면, 최근에는 서로 다른 역할을 수행하는 다수의 언어 모델이 상호작용을 하면서 보다 정교한 작업 계획을 수행하는 방식으로 발전하고 있습니다. 특히, 실시간-바카라사이트이 환경 정보를 부분적으로 관측할 수 있는 상황(partially observable environments)에서 작업을 수행하거나, 작업을 수행하다가 실패 시, 실패 원인을 추론하여 재계획(replanning)하는 능력을 갖추도록 하는 연구들이 주목받고 있습니다.

또한, 언어 모델을 통해 실시간-바카라사이트의 제어 명령을 직접 생성하는 VLM기반 generalist robot policy 연구도 빠르게 발전 중입니다. 최근에는 실시간-바카라사이트에 특화된 대규모 데이터셋들이 공개되면서, 이 분야의 발전이 더욱 빨라지고 있습니다.

파지(Grasping) 분야에서는 초기에는 2D 이미지로부터 실시간-바카라사이트의 엔드이펙터(end-effector) 포즈를 추정하는 방식이 주로 사용되었지만, 최근에는 3D 포인트 클라우드를 활용해 6 자유도 grasp pose를 정밀하게 추정하는 연구가 활발하게 이루어지고 있습니다. 2D 비전 분야에서 파운데이션 모델이 등장한 것처럼 3D 포인트 클라우드를 처리하기 위한 파운데이션 모델의 개발도 활발히 이루어지고 있으며, 이를 활용하여 복잡하고 어질러진 환경에서도 정확하게 물체를 집을 수 있는 파지기술이 빠르게 진화하고 있습니다.

5. 박사학위 취득 후 미국 브라운대학교 실시간-바카라사이트연구실에서 2018년 7월부터 2019년 8월까지 박사후연구원으로 계셨는데 당시 어떤 연구를 하셨는지 궁금합니다.

제가 박사후 연구원으로 있었던 연구실은 거대언어모델이 등장하기 전부터 실시간-바카라사이트이 사람의 언어를 이해하고 활용할 수 있도록 하는 연구를 활발히 진행해온 곳입니다. 저는 박사과정에서 수행한 연구를 자연어와 결합하여 확장하는 방향으로 연구를 진행했습니다. 구체적으로는, 언어 모델을 통해 사람의 명령을 선형시간논리(LTL)로 변환하고, 수학적으로 표현된 작업을 계층적 구조를 활용해 효율적으로 행동을 계획하는 연구를 했습니다.

▲자연어를 선형시간 논리로 변환하고 효율적으로 경로를 계획하는 기술 구조

▲자연어 명령을 이해하여 야외에서 임무를 수행하는 드론 실험 결과

▲자연어 명령을 이해하여 야외에서 임무를 수행하는 드론 실험 결과

또한 자연어 명령에는 단순한 지시를 넘어, 작업에 필요한 중요한 정보가 담겨있다는 점에 착안한 연구도 수행했습니다. 예를 들어 “주방에 있는 컵을 가져다 줘”라는 명령에는 목표 객체의 위치에 대한 단서가 포함되어있는데, 이러한 정보를 계획 단계에서 적극적으로 탐색 효율성을 개선할 수 있었습니다. 브라운대학교에서의 연구 경험은 언어 기반 실시간-바카라사이트 지능 연구의 가능성과 매력을 깨닫게 해준 중요한 계기였으며, 이후로도 저는 언어를 중심으로 한 실시간-바카라사이트의 자율성 향상 연구를 지속적으로 이어오고 있습니다.

Q. 또 2019년 10월부터 2021년 8월까지 KIST에서 연구원, 선임연구원으로 계셨는데 당시 어떤 연구를 하셨는지도 궁금합니다.

KIST에서는 삼성미래기술육성사업을 통해 모바일 매니퓰레이터를 활용한 작업 계획 연구를 본격적으로 시작하게 되었습니다. 초기에는 요리하는 로봇에 적용하여, 로봇에게 요리 이름과 재료 목록만 주어졌을 때, 실제 요리를 수행할 수 있도록 작업 계획을 생성하는 연구를 진행했습니다. 같은 요리라고 해도 사용 가능한 재료의 구성이나 조리 환경에 따라 세부적인 작업 과정이 달라지기 때문에, 환경에 맞춘 유연한 작업 계획을 학습 기반으로 생성하는 기술을 개발했습니다.

▲요리 실시간-바카라사이트을 위한 작업 계획 구조도 및 시뮬레이션과 실험 모습

또 다른 측면에서는 산업 현장에서의 클라우드 기반 실시간-바카라사이트 협업에 관한 연구를 수행했습니다. 예를 들어, 다수의 물류 실시간-바카라사이트이 공장에 투입된 상황을 가정하여, 실시간-바카라사이트들이 상하차 작업을 위한 경로를 계획하고, 작업 상황을 중앙에서 모니터링하며, 충돌 없이 효율적으로 작업을 수행할 수 있도록 하는 시스템을 개발했습니다.

KIST에서의 연구는 저에게 있어 기존에 하지 않았던 새로운 도전을 가능하게 한 시기였으며, 현재 연구실의 연구 방향을 정립하는 데 중요한 기반이 되었습니다.

Q. 미국에서 1년여 박사후연구원으로 계셨는데 우리나라 실시간-바카라사이트연구가 한 단계 더 발전하기 위해서 본받아야 할 점이 있다면 무엇이 있을까요?

미국에서 연구를 하면서 가장 인상 깊었던 점은 활발한 토론 문화와 연구실 간 경계가 낮은 협업 환경이었습니다. 제가 있었던 브라운대학교에는 여러 연구실이 공동으로 사용하는 대형 오픈 랩이 있었는데, 학생들은 이 공간에서 자유롭게 실험하고 토론하며 협업할 수 있었습니다. 실험 공간 주변에는 불규칙하게 배치된 책상과 소파가 있었고, 학생들은 자연스럽게 오가며 이야기를 나눌 수 있었습니다. 또한 서로 다른 연구실 소속이라도 공통된 주제를 가지고 있다면 자유롭게 모여 미팅을 진행하기도 했습니다.

이처럼 자유와 공유를 중시하는 분위기 덕분에, 새로운 아이디어가 보다 쉽게 떠오르고, 혼자 해결하기 어려운 문제도 지나가던 학생이 조언이나 도움을 줄 수 있는 분위기가 자연스럽게 조성되어 있었습니다. 이러한 개방적이고 협력적인 문화는 공동연구가 중요한 실시간-바카라사이트 연구를 촉진하는데 중요한 요소라고 생각합니다.

Q. 실시간-바카라사이트을 연구하면서 가장 어려운 점은 무엇입니까?

실시간-바카라사이트을 연구하면서 가장 어려운 점은 기본적으로 필요한 기술의 범위가 매우 넓다는 데 있다고 생각합니다. 예를 들어 제가 주로 연구하는 분야는 작업 계획이지만, 이 기술이 실제 실시간-바카라사이트에게 유용하다는 것을 입증하려면 이미지 처리, 실시간-바카라사이트의 모션 계획 등 다양한 요소들이 함께 작동해야 합니다. 이에 따라 연구실을 실험 가능한 수준으로 세팅하는 데에도 많은 시간과 노력이 필요합니다. 하지만 동시에 이러한 특성 덕분에, 실시간-바카라사이트 분야에서는 공동 연구가 더욱 중요하다고 생각합니다.

Q. 개인용 실시간-바카라사이트을 일상 생활에 통합하기 위한 다양한 기술들을 연구하고 계신데 이를 위해 가장 중요한 기술이 무엇이라고 생각하시나요?

저는 로봇이 종합 예술에 가깝다고 생각하기 때문에, 특정 기술 하나가 가장 중요하다고 말하기는 어렵습니다. 다만 개인용 로봇이 로봇 청소기나 서빙 로봇처럼 제한된 기능을 수행하는 수준을 넘어서, 인간과 함께 삶을 공유하고 동행하는 존재가 되기 위해서는 사용자의 취향과 필요를 정밀하게 이해하고, 이에 적응하는 능력이 필수적입니다. 결국 로봇의 개인화를 위해 ‘사람’을 깊이 이해하는 기술, 인간에 대한 연구와 인간 중심 인공지능이 점점 더 중요해질 것이라고 생각합니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

학문적 측면에서는, 학생들과 함께 새로운 문제를 발굴하고 과감히 도전하면서 세계의 연구자들에게 영감을 줄 수 있는 연구자가 되고 싶습니다. 단순히 기존의 연구를 따라가기보다는, 아직 다뤄지지 않은 문제를 개척하는 연구를 지향하고 있습니다.

사회적인 측면에서는, 제가 개발하는 기술이 사회적 약자를 보호하고, 산학 협력을 통해 자원을 효율적으로 활용하며, 나아가 환경 보호에 기여할 수 있는 실시간-바카라사이트 기술로 이어지기를 바랍니다. 단지 기술 개발에 그치지 않고, 사회적 임팩트를 만들어낼 수 있는 연구를 꾸준히 이어가고 싶습니다.

Q. 실시간-바카라사이트을 전공하려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

우선, 기초 과목을 탄탄하게 다지는 것이 무엇보다 중요합니다. 그리고 논문을 읽을 때는 단순히 읽고 넘어가기보다, 이해되지 않는 부분이 있다면 끝까지 파고들며 깊이 있게 공부하려는 태도가 필요합니다.

또한, 공부한 내용을 직접 구현해보는 연습을 많이 해보라고 조언하고 싶습니다. 실시간-바카라사이트 기술은 이론만으로는 실제 가치를 증명하기 어려운 경우가 많기 때문에, 실물 실시간-바카라사이트을 다뤄보며 구현하고 실험하는 경험이 필수적입니다.

마지막으로, 자신의 연구를 글로 표현하는 연습도 중요합니다. 글로 작성하는 과정은 자신의 생각이 논리적, 수학적으로 맞는지 확인하는 데 도움이 되며, 기술 역시 더 일관된 방식으로 다듬을 수 있습니다.

Q. 국내 실시간-바카라사이트 산업이 한 단계 더 발전하기 위한 방안이 있다면...

국내 기업, 대학, 정부 등 여러 분야에서 실시간-바카라사이트 산업 발전을 위해 많은 노력을 기울이고 계시기 때문에, 제가 아직 경험이 많지 않은 입장에서 구체적인 방안을 제시하는 것은 조심스럽습니다. 대신, 연구자로서 국내 실시간-바카라사이트 산업에 어떻게 기여할 수 있을지에 대한 제 생각을 말씀드리고자 합니다.

저는 원래 흥미 위주로 연구 주제를 선택하던 사람이었는데, 최근 산업체와의 교류를 통해 제가 미처 알지 못했던, 그러나 시장에서 실제로 필요로 하고, 사회에 실질적인 영향을 줄 수 있는 실시간-바카라사이트 기술이 무엇인지 접하게 되면서 생각이 많이 달라졌습니다. 특히 지금처럼 산업계의 관심이 높은 시점에는 산업 현장에서 발생하는 실제적이고 새로운 문제들이 활발히 발굴되고 있습니다. 이런 문제들이 학계로 잘 공유되고, 여러 연구자들이 함께 고민하고 협력해 나간다면, 실시간-바카라사이트 산업도 훨씬 의미 있는 방향으로 빠르게 성장할 수 있을 것이라고 생각합니다.

Q. 연구에 주로 영향을 받은 교수님이나 연구자가 계시다면...

가장 큰 영향을 주신 분은 제 박사 지도교수님이신 오성회 교수님이십니다. 제가 연구자로 성장하는 모든 과정에서 세심하게 지도해 주셨고, 연구 주제를 설정하는 방법부터 기술을 개발하고 이를 글로 정리하는 방법까지 연구의 기본틀을 잡을 수 있도록 이끌어주셨습니다. 그 덕분에 박사 후 연구원 시절에 빠르게 적응할 수 있었습니다. 지금은 교수가 되어 연구실을 운영하면서, 저도 모르게 교수님의 방식을 많이 닮아 있다는 생각이 듭니다.

두 번째로는 제가 박사 후 연구원을 했던 브라운대학교의 스테파니 텔렉스(Stefanie Tellex) 교수님입니다. 그때 언어의 중요성을 깊이 깨닫게 되면서, 이후 연구 주제를 정할 때 관점에도 큰 변화가 생겼습니다. 지금까지도 제 연구 방향에 지속적인 영향을 주고 계신 분입니다.