[ZDNET 칼럼] ‘개발자’들을 위한 인공 지능(AI) 기술 시대

인공 지능이 열풍이다. 최근 정부가 주요 IT 기업과 함께 인공 지능 연구소를 만들고, AI 인력이 양성을 위해 학교마다 인공 지능 관련 교과를 늘리는 바람에 한동안 침체였던 인공 지능 연구자들은 때아닌 호황(?)을 맞이하고 있다.

하지만, 지난 칼럼 클라우드가 선사한 인공지능 기술의 자유와 기회에서 보았듯이, 작금의 인공 지능 기술의 변화는 과거의 인공 지능 기술 패러다임과 완전히 다르다.

10년전 있었던 빅데이터 열풍을 다시 생각해보자. 과거 대용량 데이터 분석은 고성능 서버에 고가의 데이터웨어 상용 소프트웨어를 구매해야만 가능했다. 일반적인 데이터웨어 하우스(DW) 구축은 DW 전문가들과 매우 길고 오랜 기간이 필요한 구축 프로젝트에 맡겨야 했고, 그 결과는 고객의 입맛에 잘 맞지 않았다.

야후!에서 일하던 더그 커팅(Doug Cutting)이 하둡(Hadoop)이라는 오픈 소스 기반의 대용량 데이터 분산 처리 소프트웨어를 내 놓고 난 뒤, 상황은 180도 달라졌다. DW 업체와 전문가의 손을 거치지 않고도, 일반 개발자들이 저가의 장비를 분산화 하여 손쉽게 빅데이터 분석을 할 수 있게 되었다. 그 이후, 하둡 생태계는 과거와 비교할 수 없을 만큼 다양해졌으며, 수 많은 오픈 소스 소프트웨어와 지원 벤더들이 비지니스 이용에 대한 간극을 메우고 있다.

특히 클라우드 서비스가 확산되면서, 페타바이트 규모의 완전 관리형 데이터 웨어하우스인 아마존 레드시프트(Redshift), 기존 비즈니스 인텔리전스(BI) 솔루션 대비 1/10의 비용으로 비데이터 전문가라도 손쉽게 분석할 수 있는 플랫폼을 내놓기도 했다. 그렇게 빅데이터 처리 및 분석 기술은 한없이 높았던 진입 장벽을 크게 낮추었다.

■ 진입 장벽이 확 낮아진 인공 지능 기술
소위 딥러닝(Deep Learning)으로 알려진 인공 지능 기술 역시, 구글, 페이스북, 바이두, 아마존 등 다양한 글로벌 인터넷 기업이 주도하고 있다. 이들은 자사의 검색, 소셜네트워크, 음성 인식 서비스에 녹일 목적으로 투자를 지속하고 있다.

특히, 딥러닝 분야에서도 많은 오픈 소스 도구들이 활발하게 나오고 있는데, 그 중에 구글에서 공개한 텐서플로(TensorFlow)가 인기다. 3월에 시작된 텐서플로 한국 커뮤니티는 3개월만에 현재 3천명이 넘는 회원을 가지고 있고, 지난 6월 첫 오프라인 모임은 신청한지 10분에 마감되고, 200여명이 참여했다고 한다.

텐서플로를 개발한 구글의 제프 딘(Jeff Dean)은 원래 인공 지능 전문가가 아니었다. Quora에 올라온 “제프딘은 어떻게 그렇게 빨리 인프라와 시스템 엔지니어링에서 딥러닝 분야 전문가가 된건가요?”라는 질문에는 한 학생이 제프 딘에게 직접 들은 답변이 올라와 있다.

​“저는 이 분야가 잠재력이 많고 흥미로운 분야라고 생각했습니다. 뉴럴 네트워크게 대해 많이 알지 못했지만 분산환경에 대해서는 잘 알고 있었죠. 그래서 주방이던 어디던 사람(전문가)들에게 다가가 그들과 대화를 했습니다. 전문가들과 대화하고 함께 일하면 여러가지 어려운 문제도 해결할 수 있고 정말 빠르게 배울 수 있을 겁니다.”

텐서플로와 같은 오픈 소스 뿐만 아니라 클라우드 역시 진입 장벽을 낮추고 있다. 머신러닝 알고리즘에 익숙하지 않은 소프트웨어 개발자들도 아마존이 제공하는 머신러닝 서비스를 이용하면 손쉽게 데이터를 통한 학습, 모델 생성 및 추론을 해 볼 수 있다. 특히, AWS에는 대용량 스토리지, 하둡 클러스터 운영, NoSQL및 데이터웨어하우스 등 다양한 빅데이터 처리를 위한 빌딩 블록이 있어 데이터 수집, 저장과 분석을 바로해 볼 수 있는 장점이 있다.

■ 클라우드로 들어온 머신러닝 서비스
클라우드 서비스는 사용한 만큼만 비용을 지불하게 되므로 하루당 소량의 예측에서 초당 수백 개의 예측 생성까지 쉽고 비용 효과적으로 확장이 가능하다. 예측 모델 구축에 사용된 컴퓨팅 시간은 시간당 요금으로만 청구되며 배치 예측과 실시간 예측은 예측 건당 요금으로 매우 비용 효율적이다.

웹 기반 콘솔에서 복잡한 기계 학습 알고리즘과 기술을 배우지 않고도 기계 학습(ML) 모델 생성 프로세스를 단계별로 사용할 수 있도록 시각화 도구와 마법사를 활용할 수 있다. 이를 위해 대화형 차트를 제공하여 입력 데이터 세트를 시각화 및 탐색하도록 지원함으로써, 데이터 콘텐츠와 배포를 이해하고 누락되거나 잘못된 데이터 속성을 발견할 수 있다.

뿐만 아니라, 개발자를 위한 모델링과 관리용 API를 제공하여 데이터 소스, 모델, 평가를 생성하고 검토하며 삭제할 수 있도록 해준다. 이를 통해 향후 새로운 데이터가 올라오면 신규 모델을 생성하도록 자동화할 수 있다. 또한, API를 사용하여 이전 모델, 데이터 소스, 평가 및 배치 예측의 반복성과 추적 사항을 점검할 수 있다.

특히 아마존 머신러닝을 이용한 게임 개발에 이용하는 방법에 대한 동영상을 보면, 머신러닝이 어떻게 실제 문제를 풀 수 있는지에 대한 답을 얻을 수 있다.

■ 딥러닝 학습을 위한 길잡이
어떻게 하면 개발자가 인공 지능에 입문해 볼 수 있을까? 홍콩과기대 김성훈 교수가 국내 개발자를 위해 만든 모두를 위한 머신러닝/딥러닝 강의는 개발자들에게 입소문을 타고 인기를 높이고 있다. 동영상과 소스 코드를 통한 실습 자료를 제공함으로서 알기 쉽게 배울 수 있다.

본 강좌의 마지막에는 Amazon EC2 중 GPU 사용이 가능한 G2 인스턴스 타입를 활용하는 보너스 강의가 나온다. 김교수는 “GPU를 사용하는 경우, 기존 데스크톱에서 데이터를 훈련할 때 보다 25배의 속도가 높아지며, 스팟 인스턴스를 사용하면 비용도 저렴하며 필요할 때만 이용할 수 있다”고 장점을 말하고 있다.

텐서플로를 Amazon EC2에서 활용하는 방법은 John Ramey가 만든 공개 AMI(아마존 머신 이미지) 사용 방법이나 “BitFusion의 AWS 마켓플레이스 솔루션을 참고하면 좋다.

지난 5월 아마존에서도 DSSTNE(Deep Scalable Sparse Tensor Network Engine)라는 딥러닝 라이브러리를 오픈 소스로 공개하였다. DSSTNE는 GPU를 활용하는 데이터 훈련 및 딥러닝 애플리케이션에 사용하기 위한 것으로, 아마존 규모의 데이터를 처리하기 위해 만들어진 것이라는 점에서 실제 문제를 해결하는데 도움을 줄 수 있다.

이를 위해 다중 GPU를 사용한 데이터 훈련 및 예측 및 병렬 모델을 수행하는 더 큰 뉴럴 네트웍을 지원하는 등 더 빠른 컴퓨팅 성능에 최적화 되어 있다. C++로 개발된 본 라이브러리는 뉴럴 네트워크 구성을 JSON 포맷으로 정의할 수 있으며, GPU가 가능한 자신의 PC 뿐만 아니라 AWS의 G2 인스턴스 및 도커(Docker) 콘테이너로 구성할 수 있다.

Scott Le Grand는 자신의 블로그 글에서, “Amazon DSSTNE가 벤치마크 결과 텐서플로에 비해 15배 높은 성능이라는 결과“를 제시하기도 했다.

이렇듯 머신러닝과 딥러닝에 대한 오픈 소스 소프트웨어는 하둡 생태계와 유사하게 더 높은 성능과 최적화를 위한 경쟁적 발전이 이루어질 것이다. 개발자들의 선택의 폭은 훨씬 높아지게 된다.

이제 인공 지능 기술은 더 이상 박사급 연구자나 높은 수준의 수학이나 알고리즘 학습이 필요한 분야가 아니다. 클라우드와 오픈 소스 덕분에 기술에 대한 진입 장벽은 낮아졌으며, 개발자라면 누구나 쉽게 배워 현실의 문제를 풀 수 있게 되었다. 이것이 지금의 인공 지능 기술 열풍이 단지 버즈워드가 아닌 이유이다

여러분의 생각

의견 쓰기

이름* 이메일* 홈페이지(선택)