'젊은 라이브 바카라 공학자' (84) 숙명여대 이준호 교수

'젊은라이브 바카라공학자(YoungRobotEngineer)'코너는한국라이브 바카라학회와라이브 바카라신문이공동으로기획한시리즈물로미래한국라이브 바카라산업을이끌어갈젊은라이브 바카라공학자를발굴해소개하는데있다.

84번째인터뷰는 숙명여대 기계시스템학부이준호 교수다. 이교수는1994년생으로2017년 2월 KAIST 기계공학를 졸업하고 2023년 KAIST에서 라이브 바카라공학 학제전공(건설및환경공학과)으로박사 학위를받았다.박사학위를마치고2023년 2월부터 2025년 2월까지 2년간 현대자동차 로보틱스연구실에서 책임연구원으로 근무하였다. 이후 2025년 3월부터 현재까지 숙명여대 기계시스템학부조교수로재직하고있다.

2019년 ICRA 최우수 논문상, 2022년 HILTI SLAM CHALLENGE 2위, 2024 ICROS 우수신진연구자상을 수상했다.

주요연구분야는시각적 위치 인식, 다중 모드 센서 융합, SLAM, 장소 인식, 공간 AI등이다.

로로보틱스는 단순히 로봇을 다루는 기술을 넘어, 다양한 공학적 기반이 융합되는 복합적인 분야라고 생각한다는 이교수는과거에는 ‘무엇을 얼마나 많이 알고 있는가’가 중요하게 여겨졌지만, 최근에는 GPT를 포함한 다양한 AI 기반 도구들이 등장하면서, 단순한 지식의 양보다는 그 지식을 언제, 어떻게 연결하고 적용할 수 있는가가 더욱 중요한 역량으로 자리 잡고 있다고 생각한다고 말한다. 그는 로보틱스를 연구하면서 가장 어려운 점은 특정 기술이나 이론 자체라기보다는, 복잡하게 얽힌 기술 스택 속에서 열린 자세를 유지하고, 서로 다른 전문성을 가진 사람들과 협력할 수 있는 구조를 만들어 가는 일이라고 생각한다.

이 교수는 언젠가는 인간을 능가하는 수준의 로봇 지능이 구현되겠지만 기술적·논리적으로 뒷받침할 수 있는다양한 환경과 문제에 적용 가능한 표준화된 인식 및 추론 체계를 만들어보고 싶다고 말한다. 국내 로봇산업 발전을 위해서는연구개발 과제의 절대적인 수가 부족하다는 점, 논문을 쓰는 것으로 연구가 끝나는 것이 아니라실제 서비스 도메인에 적합한 로봇 시스템을 구성하고 엔지니어링을 완성해 나가는 과정까지 포함해야 한다는 조언도 잊지 않은이준호 교수를만나 본다.

Q. 올해 3월부터 숙명여대 기계시스템학부 조교수로 부임하셨는데 기계시스템학부에 대한 간단한 소개 부탁드립니다.

숙명여대 기계시스템학부는 2017년 첫 신입생을 시작으로 올해로 아홉 번째 신입생을 맞이한 젊은 학과입니다. 저희 학교의 긴 역사에 비해 공과대학은 상당히 최근에 창립되었는데요, 그만큼 기계시스템학부는 시장에서 당장 필요로 하는 최신 기계공학 기술들을 전공한 교수진으로 구성되어 있습니다. 더 자세히는 로보틱스, 자동차공학, 에너지 및 헬스케어 네 가지 트랙으로 구성되어 있어 관련 분야끼리의 연계도 활발히 이루어지고 있습니다. 비교적 여학생이 적은 분야인 기계공학이기 때문에 저희 학생들이 확실한 경쟁력을 가질 수 있도록 프로그램을 구성하고 있습니다.

저는 올해 3월부터 이 학과에 부임하여 이동라이브 바카라 공간지능 연구실을 운영하고 있는데, 현재는 학부 연구생 두 명과 함께 연구를 시작하는 단계에 있고 내년에는 석사과정도 선발하여 여섯 명 정도의 학생들과 함께 본격적인 후속연구를 해보고자 합니다.

Q. 최근 하고 계신 연구가 있다면 소개 부탁드립니다.

저희 이동라이브 바카라공간지능연구실(Spatial Robot Intelligence Lab)은 라이브 바카라의 인식 문제를 해결하여 라이브 바카라이 공간에 대한 완전한 이해에 도달하도록 만들고자 하는 목표를 지니고 있습니다. 궁극적으로 인간의 생활 반경 내에서 라이브 바카라이 당연하게 여겨질 만큼 동화되기 위해서는, 하드웨어적인 능력 뿐만 아니라 실제 세계에서 일어나는 일을 완벽히 이해하고 임무를 수행할 수 있는 능력을 갖춰야 합니다. 그렇게 하기 위해서는 라이브 바카라이 다수의 센서와 사전 정보를 조합하여 주변 상황을 인지하여야 합니다.

이러한 정보들은 기본적으로 데이터를 가공하여 만들어지고, 데이터는 이 과정에서 센서들이 측정하는 정확도 및 정밀도에서 발생하는 불확정성 혹은 바이어스나, 실제 세계를 우리가 받아들이는 방식, 즉 모델링에서 오는 한계에 의해서 실제 세계의 정보와는 물리적으로 달라지게 됩니다.

이렇게 불확실한 데이터를 가지고 주변 환경에 대한 정보를 지속적으로 그리고 점진적으로 업데이트 하는 문제를 전통적으로 SLAM(Simultaneous Localization and Mapping) 분야에서 풀어 왔는데요, 최근 10년 사이에 이미지 및 포인트 클라우드 데이터를 위치정보로 변환하는 기법이 많이 제시되었고, 인자 그래프(Factor graph)를 생성하거나 필터 기반으로 불확정성(Uncertainty)과 상태변수(State)를 업데이트하는 몇몇 방법은 학계에서 정설처럼 받아들일 정도로 기술적으로 성숙하여 모두가 SLAM을 비교적 쉽게 활용할 수 있는 시대가 온 것 같기도 합니다.

이렇게 SLAM에 대한 기술적 장벽이 낮아지면서 다양한 로봇 시스템에서 자신과 주변 환경의 위치정보를 파악할 수 있는 상황이 되었기 때문에, 이제는 이렇게 넘쳐나는 데이터를 정합하여 현실 세계의 측정값으로서 정렬하는 방법이 더 중요해지고 있는 것 같습니다. 컴퓨터 비전 분야에서 이미지넷(ImageNet), CIFAR, MS-COCO 등 유명 데이터셋이 제시되면서 빠르게 패턴 인식 알고리즘들이 발전했던 것처럼, 현실 세계에서 원활히 작동하는 알고리즘들이 발전하기 위해서는 물리 세계에서 양질의 학습 데이터를 충분히 확보하는 것이 가장 중요합니다. 그러나 이런 대량의 데이터는 이전처럼 사람이 직접 취득하는 방식으로는 구성하기 어려워서, 자율주행차나 로봇에 달려 있는 수많은 센서 데이터를 자동으로 정합하여야만 얻을 수 있다고 생각합니다.

이것이 최근 떠오르는 체화된 인공지능 (Embodied AI) 키워드와 연결되어서, 범용인공지능(AGI)으로 발전하기 위한 데이터 취득 및 정합 도구로서 로보틱스에 막중한 임무가 부여되고 있지 않나 생각합니다. 이 데이터 수집 자동화 과정에 아직 표준이 없다고 생각되는데, 그 표준을 정립하기 위하여 필요한 기술 및 방법을 차례로 연구해 나가고자 하고 있습니다.

이외에도 대표적으로 농업로봇 같이 고난도의 환경에서 비정형 환경, 객체의 물리량을 추정한다던가, 시간에 따른 변화량을 일반적으로 체계화하는 방법 등은 아직 정립되지 않은 부분이 많아서, 관련 연구도 함께 진행하여 로봇 인식 기술의 완성도를 높이는 데에 기여하고 싶습니다.

Q. 2023년 2월 KAIST 건설및환경공학과에서 라이브 바카라공학학제전공으로 “멀티모달 센서 융합을 이용한 변화하는 시각조건에서의 위치 추정 강건화 방법”으로 박사학위를 받으셨는데 어떤 내용인지 소개 부탁드립니다.

저는 학위 기간 동안 주로 여러 종류의 센서를 활용하여 위치 추정 문제를 강건하게 푸는 방법에 대해서 다뤘습니다. 표준화 되어 가는 SLAM 방법론들도 센서 자체의 한계나 모델링 오류로 인해서 성능이 저하되는 상황이 발생하는데, 이를 해결하기 위해서 다양한 센서를 상보적으로 활용하는 시나리오들이 제시되어 왔습니다. 저는 그 중에서도 다양한 비전 센서와 라이다(LiDAR), 관성 센서 등을 상보적으로 활용하여 위치를 인식하는 방법들을 연구해 왔고, 다양한 센서들이 어떤 시나리오에서 잘 작동하는지에 대해 관심을 갖고 연구를 진행했습니다. 특히 벤치마크를 생성하여 여러 가지 센서가 각각 잘 작동하는 시나리오를 비교하고 나면 필드에서 특정 실패상황이 발생했을 때 어떤 센서를 활용해서 대처할 수 있는지 솔루션화가 가능하기 때문에, 기술의 보급 관점에서 이런 다양한 시도를 미리 해 보는 것이 중요합니다.

그 중에서도 라이브 바카라에서 가장 많이 사용되는 센서가 카메라와 라이다(LiDAR)입니다.두 센서는 각각 2차원 이미지 정보와 3차원 점군 (Point cloud) 정보를 만들어 내며 서로 다른 장단점을 가지고 있습니다. 예를 들어 카메라는 LiDAR보다 훨씬 저렴하지만 깊이 정보를 측정할 수 없어서 3차원 구조물을 삼각측량(Traingulation)의 원리로 연산을 통해 알아내야 하는 단점이 있습니다. 이런 장단점을 개선하기 위해 LiDAR와 카메라의 센서 데이터가 서로 혼용될 수 있다면 두 센서가 가지고 있는 서로 다른 가격, 정확도, 깊이 정보 측정 여부, 데이터의 용량, 물체 정보 등의 감지 성능 특성을 고려하여 상보적으로 활용하여 장점만 남도록 할 수 있습니다만, 두 센서의 데이터 형식과 측정 도메인이 모두 달라 어려움이 존재합니다. 이 과정에서 2.5차원의 깊이 이미지를 생성하여 두 센서 사이를 정합하는 방법을 LC2 (RA-L 2023) 논문을 통해 제시하였습니다.

Q. 교수님의 주요 연구 분야가 시각적 위치인식(Visual Localization), 다중 모드 센서 융합(Multimodal sensor fusion), SLAM, 장소 인식(Place Recognition), 공간 인공지능(Spatial AI) 등으로 알고 있습니다. 최근 Visual Localization 또는 SLAM 관련한 최신 동향이나 기술적인 트렌드가 있다면 무엇인지 궁금합니다.

저는 앞서 이야기한 것처럼, 실제 세상에서 발생하는 변화와 로봇 센서가 측정하는 정보 사이의 간극을 어떻게 해석하고 줄일 수 있을지에 관심을 두고 있습니다. SLAM이나 Visual Localization과 같은 기술들은 전통적으로 정밀한 위치 추정이나 지도 작성에 초점을 두었지만, 최근에는 단순히 좌표계를 맞추는 문제를 넘어서, 그 위치가 갖는 “의미”를 해석하고 로봇의 행위와 연결하는 방향으로 연구 흐름이 옮겨가고 있습니다.

이러한 배경에서 첫 번째로 주목하고 있는 기술적 트렌드는 멀티모달 파운데이션 모델(Multimodal Foundation Model) 기반의 접근입니다. 기존에는 특정 센서에 특화된 네트워크를 구성하고, 동일한 종류의 데이터셋에서 학습하는 방식이 일반적이었지만, 최근에는 대규모 이미지-텍스트 사전학습 모델을 중심으로 다양한 모델러티(modality)간 표현 정렬(joint representation)을 시도하는 연구가 활발해지고 있습니다. 예를 들어, CLIP 같은 모델에서 학습된 언어-이미지 임베딩 공간을, 깊이(depth)나 LiDAR 포인트 클라우드등 다른 모델러티로 확장하거나 정렬하는 시도가 이루어지고 있으며, 이를 통해 로봇이 관측한 공간 정보를 보다 일반화된 의미 표현으로 전환하는 것이 가능해지고 있습니다. 단순한 매칭(matching)이나 정합(alignment) 이상의 문제로 접근할 수 있게 된 것입니다.

둘째는 임바디드(Embodied) AI 관점에서의 위치인식(Localization) 및 공간 인식입니다. 과거 SLAM 시스템은 수동적(passive)으로환경을 관측하며 추정하는 방식이 주류였지만, 최근에는 라이브 바카라이 환경을 탐색하고, 그 결과를 반영하여 능동적으로 관측 경로를 조정하거나 판단 구조를 학습하는 구조로 전환되고 있습니다. 특히 강화학습이나 모방학습(imitation learning)과 결합된 임바디드 셋팅(embodied setting)에서는 위치인식(localization)도 하나의 능동적 의사결정 과정으로 포함되며, 시멘틱(semantic)한 맵(map)을 생성하거나 공간 변화에 대응하는 적응형 구조가 요구되고 있습니다. 이러한 관점은 단순히 공간의 정합을 넘어, 공간이 라이브 바카라의 행동 가능성(affordance)을 어떻게 제한하는지를 알기 위한 방향으로 이어지고 있습니다.

요약하자면 최근 시각적 위치인식(Visual Localization)이나 SLAM 관련 분야는 더 이상 정적인 정밀 추정 기술로만 접근되지 않으며, 로봇이 환경과 상호작용하면서 고차원의 의미를 추론하고, 그 의미를 바탕으로 행동을 설계할 수 있도록 지원하는 방향으로 변화하고 있습니다. 이러한 흐름은 파운데이션 모델(Foundation Model)의 일반화 능력과 임바디드(Embodied) AI의 능동적 학습 구조라는 두 가지 큰 축을 중심으로 전개되고 있으며, 저 역시 이 두 방향을 중심으로 연구를 진행하고 있습니다.

Q. 박사학위 취득 후 현대자동차 로보틱스랩 모바일로보틱스팀에서 2023년 2월부터 2025년2월까지 2년간 책임연구원으로 계셨는데 어떤 연구를 하셨는지 궁금합니다.

현대자동차 연구개발본부 로보틱스랩에서 있었던 2년 동안은, 산업 현장에서 실제로 운용되는 로봇 시스템을 구축하는 일에 깊이 참여할 수 있었던 시기였습니다. 처음 맡았던 일은 SLAM 파이프라인을 전면적으로 새로 기획하고 교체하는 작업이었습니다. 기존에 구축된 구조를 그대로 사용하기는 어려웠고, 기술적 부채도 많아 처음부터 다시 설계하는 과정이 필요했습니다. 덕분에 전체 구조를 처음부터 끝까지 직접 설계해보는 값진 경험을 할 수 있었고, SLAM의 프론트엔드(Front-end)부터백엔드(Back-end)까지 전체 데이터 흐름을 구성하고, 그래프 최적화, 루프 클로져(loop closure), 지도 관리 구조 등을 개발하며 점차 더 나은 구조를 찾아가는 과정을 거쳤습니다. 연구나 과제의 도구로서만 SLAM을 다루던 대학원 시절과 달리, 실제 로봇 서비스 파이프라인에 적용하는 과정과 다수의 인력과 협업하는 경험은 그 시기에만 가능했던 중요한 배움이었습니다.

이렇게 구성한 SLAM 파이프라인을 실제로 활용할 수 있도록, 모바일 매핑 시스템도 함께 개발하였습니다. 사업부장님께서 늘 강조하시던 “옆집 할머니도 들고 다니며 고정밀 지도를 만들 수 있어야 한다”는 방향성을 바탕으로, GUI까지 통합된 전체 파이프라인을 설계하였습니다. 엔비디아 오린(NVIDIA Orin) 기반의 고성능 처리 유닛을 활용한 배낭형 시스템과, 인텔(Intel) N 시리즈 보드를 탑재한 경량형 장비를 병행하여 구성하였고, 각각은 실외 대규모 환경과 실내 현장에서의 지도 생성에 활용되었습니다. 이렇게 제작한 지도는 로보틱스랩 홈페이지에 소개된 달이(Dal-e) 안내 로봇, 현대차그룹 싱가포르 글로벌 혁신센터(HMGICS) 공장 점검 로봇, 보스톤 다이나믹스의 스폿(Spot), Dal-e 딜리버리 로봇 등 여러 로봇의 공간 인식 및 운용에 실제로 사용되었습니다. 연구소 조직이라 기술 선택의 자율성이 높아, 흥미롭고 몰입감 있게 일할 수 있었던 기억이 있습니다.

현대차에 재직하던 동안은 ‘로봇으로 수익을 창출할 수 있을까’라는 현실적인 고민을 매일같이 나누었던 시간이었고, 사회에 실질적인 도움이 되는 기술을 만들기 위한 공학적 사고를 단단하게 다질 수 있었던 경험이었습니다.

Q. 라이브 바카라을 연구하면서 가장 어려운 점은 무엇입니까?

로보틱스는 단순히 로봇을 다루는 기술을 넘어, 다양한 공학적 기반이 융합되는 복합적인 분야라고 생각합니다. AI, 임베디드 시스템, 제어 이론, 머신러닝, 강화학습, 소프트 로봇, 패스 플래닝, 컴퓨터 비전 기반 인식 기술 등 각각만으로도 하나의 전공 분야가 될 수 있는 기술들이 실제 시스템 안에서 유기적으로 작동해야 하기 때문에, 처음 로보틱스를 접했을 때는 그 진입장벽이 상당히 높다고 느꼈습니다.

과거에는 ‘무엇을 얼마나 많이 알고 있는가’가 중요하게 여겨졌지만, 최근에는 GPT를 포함한 다양한 AI 기반 도구들이 등장하면서, 단순한 지식의 양보다는 그 지식을 언제, 어떻게 연결하고 적용할 수 있는가가 더욱 중요한 역량으로 자리 잡고 있다고 생각합니다. 이러한 변화 속에서, 자신을 ‘하드웨어 중심 연구자’ 또는 ‘소프트웨어 전공자’처럼 단편적으로 규정하기보다는, 다양한 분야를 넘나들며 유연하게 배우고 수용할 수 있는 태도가 점점 더 중요해지고 있습니다.

실제로 로보틱스를 연구하다 보면, “이런 것까지 공부해야 하나?”와 “이건 기본적으로 알고 있어야 하지 않을까?” 사이에서 늘 고민하게 됩니다. 로보틱스 분야는 외연이 계속 확장되고 있기 때문에, 모든 영역을 깊이 있게 다루는 것은 현실적으로 어렵습니다. 누구나 자신이 강점을 가진 영역이 다르고, 그렇기에 서로 다른 백그라운드를 가진 연구자들이 각자의 전문성을 공유하고 협력할 수 있는 개방적인 연구 문화가 무엇보다 중요하다고 생각합니다. 로보틱스 분야 사람들의 엄밀함이 지나쳐 분야 확장이 느리게 진행된다는 우려도 있으나, 실제로는 다양한 전공과 관심사를 가진 사람들이 모여 서로의 전문성을 존중하고 지식을 공유하는 건강한 분위기가 점차 확산되고 있다고 느끼고 있습니다.

결국 로보틱스를 연구하면서 가장 어려운 점은 특정 기술이나 이론 자체라기보다는, 복잡하게 얽힌 기술 스택 속에서 열린 자세를 유지하고, 서로 다른 전문성을 가진 사람들과 협력할 수 있는 구조를 만들어 가는 일이라고 생각합니다. 로보틱스의 응용 범위는 계속해서 넓어지고 있으며, 앞으로도 이러한 다양성과 융합성을 기반으로 지속적인 발전이 이루어질 것이라 기대하고 있습니다.

Q. 라이브 바카라을 연구하게 된 동기가 있다면?

특별한 계기가 있었던 것은 아니고, 학부 시절 여러 공학 분야를 공부하다 보니 동역학과 제어에 흥미를 느꼈고, 졸업 무렵에는 인공지능이 급격히 발전하고 있는 시점이었습니다. 당시 제가 갖고 있던 기계공학적 기반 지식과 접점을 찾다 보니, AI와 가장 밀접하고 응용 가능성이 큰 분야가 로보틱스라고 판단해 이 분야를 선택하게 되었습니다.

Q. 연구자로서 앞으로의 꿈과 목표가 있다면?

인공지능의 발전 속도가 워낙 빨라, 장기적인 목표를 뚜렷하게 설정하기가 쉽지는 않습니다. 다만 분명한 것은, 언젠가는 인간을 능가하는 수준의 로봇 지능이 구현될 것이고, 그 이후에도 지속적인 개선과 정교화가 필요할 것이라는 점입니다. 저는 그 과정을 기술적·논리적으로 뒷받침할 수 있는, 다양한 환경과 문제에 적용 가능한 표준화된 인식 및 추론 체계를 만들어보고 싶습니다. 단일 시스템이 아니라, 여러 분야에 두루 확장 가능한 이론과 구현 구조를 정립하는 것이 앞으로연구자로서의 방향입니다.

Q. 라이브 바카라을 전공하려는 후배들에게 어떤 준비와 노력이 필요한지 조언해 주신다면?

지금은 대학에서 배우는 기초과목조차도 단순한 지식 전달이 아니라, 산업 수요에 맞춘 프로젝트 기반 학습(PBL)이나 실전 문제 해결 중심으로 빠르게 전환되고 있는 시기입니다. 인공지능의 발전에 맞춰 교육과 연구의 경계도 자연스럽게 허물어지고 있으며, 학부 수준에서도 ‘지식을 외우는 것’보다는 ‘문제를 정의하고 해결하는 방식’을 스스로 설계하는 역량이 점점 더 중요해지고 있습니다.

결국 자신의 문제 해결 방식, 사고의 틀을 만들기 위해서는 단편적인 기술 학습을 넘어서 사람이 수천 년 동안 쌓아온 사고의 흔적에서 배울 필요가 있습니다. 그래서 오히려 지금처럼 기술이 빠르게 바뀌는 시대일수록, 책을 읽는 힘, 즉 맥락을 이해하고 해석하는 능력이 더 중요해지고 있다고 생각합니다. 저에게 멘토가 되어 주신 교수님들께서도 공통적으로 “책을 많이 읽어야 한다”고 강조하셨던 말씀이 기억에 남습니다. 지금 생각해보면, GPT가 텍스트를 써 주는 시대가 올 것을 예견하신 것은 아닐까 싶습니다. (하하).

Q. 국내 라이브 바카라 산업이 한 단계 더 발전하기 위한 방안이 있다면...

신임 연구자로서 가장 절실하게 느끼는 부분은, 국내 로봇 산업의 성장 속도에 비해 연구개발 과제의 절대적인 수가 부족하다는 점입니다. 중복 연구를 줄이고 예산을 효율적으로 운영하는 것은 물론 중요하지만, 현재와 같은 빠른 기술 변화와 산업 확장을 고려하면, 전체 연구 생태계를 지탱할 수 있을 만큼의 과제가 확보되지 않고 있다는 점은 분명한 한계로 느껴집니다.

또한 로보틱스는 전형적인 융합 분야로서, 논문을 쓰는 것으로 연구가 끝나는 것이 아니라, 실제 서비스 도메인에 적합한 로봇 시스템을 구성하고 엔지니어링을 완성해 나가는 과정까지 포함해야 한다고 생각합니다. 하지만 현재 산업 현장에서는 여전히 자체 기술 개발은 소수에 불과하고, 대부분의 로봇 소프트웨어가 오픈소스를 기반으로 구성되는 상황입니다. 이러한 현실을 고려할 때, 시스템 파이프라인 구축, 오픈소스 확장, 현장 중심의 통합 개발을 포함하는 실질적이고 실용적인 과제들이 보다 많이 필요하다고 생각합니다.

기술바우처 사업처럼 기술이전 중심의 과제도 좋은 예가 될 수 있으며, 최근 IEEE에서 로봇공학 및 자동화 실습(Robotics and Automation Practice)과같이 산업계에서의 엔지니어링적 성과를 학문적으로도 인정하는 흐름이 형성되고 있는 것도 의미 있는 변화라고 생각합니다. 이러한 방향성이 계속 이어진다면, 국내 로봇 산업도 보다 균형 있게 성장할 수 있을 것이라 기대합니다.