전산학부 김민수 교수팀, 초대규모 그래프 처리용 ‘바카라 가상 머니 사이트 프레임워크’ 개발
고성능 컴퓨터 25대로 2000초 걸리던 작업, 단일 컴퓨터로 1184초만에 해결
인공지능(AI) 분야에서 지식 체계나 데이터베이스를 그래프로 저장하고 활용하는 사례가 급증하고 있다. 그러나 복잡도가 높은 그래프 연산은 그래픽처리장치(GPU) 메모리의 제한으로 인해 매우 작은 규모의 단순한 연산만 처리할 수 있다는 한계가 있었다. 이런 작업이 필요할 경우 별도의 고효율 시스템을 꾸며야 하는 등 부담이 적지 않았다.
이런 가운데 국내 연구진이 고효율 연산 프레임워크(복잡하게 얽혀있는 문제를 해결하는 데 도움을 주는 구조)를 개발하는데 성공했다. 한국과학기술원(KAIST) 전산학부 김민수 교수팀은 그간 25대의 컴퓨터로 2000초가 걸리던 연산을 단 한 대의 GPU 컴퓨터로 처리할 수 있는 세계 최고 성능의 연산 프레임워크를 개발하는데 성공했다고 27일 밝혔다.
연구진은 한정된 크기의 메모리를 지닌 GPU를 이용해 1조 ‘간선 규모(그래프자료 구조에서 두 정점(Node 또는 Vertex)을 연결하는 선이나 경로)’의 초대규모 그래프에 대해 다양한 연산을 고속으로 처리할 수 있는 스케줄러 및 메모리 관리 기술들을 갖춘 일반 연산 프레임워크(일명 GFlux, 지플럭스)를 개발했다.
연구팀은 그래프 바카라 가상 머니 사이트을 GPU에 최적화된 단위 작업인 ‘지태스크(GTask)’로 나누고, 이를 효율적으로 GPU에 배분 및 처리하는 특수한 스케줄링 기법을 새롭게 개발했다. 기존 방식으로 작업할 경우 1조 간선 규모의 그래프 크기는 9테라바이트(TB)에 이른다. 연구팀은 새롭게 개발한 기법을 적용해 ‘HGF’라는 자체 포맷을 개발했다. 이를 활용하니 이 크기를 4.6테라바이트(TB)로 절반 가까이 줄일 수 있었다. 또 GPU에서는 메모리 정렬 문제로 그간 사용되지 않았던 3바이트의 주소 체계를 최초로 활용, GPU 메모리 사용량 역시 약 25% 절감했다.
가장 큰 장점은 거대 기업인 ‘엔비디아(NVIDIA)’ 종속에서 크게 벗어날 수 있다는 점이다. 엔비디아는 자체 메모리 규격인 ‘쿠다(CUDA)’ 방식의 통합 메모리(Unified Memory)’를 사용하는데, 새롭게 개발된 기법은 이에 전혀 의존하지 않는다. 따라서 메모리 부족으로 인한 연산 실패를 사전에 방지할 수 있다. 이를 위해 컴퓨터 메인 메모리와 GPU 메모리를 통합적으로 관리하는 G태스크전용 메모리 관리 기술 역시 핵심 기술 중 하나로 개발했다.
김민수 교수팀은 데이터 분석 과정에서 AI 성능을 검증하는 방식인 ‘삼각형 개수 세기’ 측정법을 이용해 해당 기술의 성능을 검증했다. 최고 성능의 컴퓨터 25대를 이용해 약 2000초가 걸리던 연산량을 지플럭스 기술을 이용해 실험한 결과, 단일 컴퓨터만으로 약 두 배 빠른 1184초 만에 처리하는 데 성공했다. 이는 단일 컴퓨터로 현재까지 알려진 최대 규모의 그래프 처리 속도다.
김민수 교수는 “최근 규모 그래프에 대한 고속 연산 처리 기술의 중요성이 점점 커지고 있다”며 “지플럭스 기술이 이러한 문제를 효과적으로 해결할 것으로 기대한다”고 말했다.
연구팀은 이번 연구 결과를 22일 열린 전기전자공학자협회(IEEE) 주최 국제데이터공학학술대회(ICDE, International Conference on Data Engineering)에서 발표했다. 전산학부 오세연, 윤희용 박사과정이 각각 제 1, 2 저자로 참여했다. 과학기술정보통신부 산하 정보통신기획평가원(IITP) SW스타랩과 한국연구재단 중견과제의 지원을 받았다.
