인공지능(AI)은 일종의 블랙박스다. AI 모델에 무엇이 입력되고 무엇이 나오는지는 이해할 수 있지만, 내부에서 어떤 과정을 거쳐 의사결정이 내려지는지 알기 어렵다. 심지어 해당 AI를 설계한 사람조차 말이다. 자율주행차, 의료, 무기 시스템 등 AI의 개입이 확대될수록 문제는 커진다. 책임의 소재와 데이터 편향성, 의사결정과 행동 과정을 파악하기 어렵기 때문이다. 최근 ‘설명 가능한 AI’가 AI 연구 분야에서 떠오르는 이유다. IBM은 AI가 내린 의사결정 과정을 이해하고 관리할 수 있는 개방형 기술 플랫폼을 내놓았다.
IBM은 10월18일 서울 여의도 한국IBM 본사에서 기자간담회를 열고 ‘AI 오픈스케일’을 공개한다고 밝혔다. 기업의 AI 도입을 촉진시킬 수 있도록 AI가 도출하는 의사결정 과정을 투명하게 확인할 수 있도록 하고 데이터의 편향성을 바로잡을 수 있도록 하는 게 핵심이다. 이날 발표에 나선 최안나 한국IBM 왓슨 기술 영업 총괄 실장은 “AI는 아직까지 블랙박스이며, 그 안의 내용에 대해 확신을 가질 수 없기 때문에 장애를 갖고 있었다”라며 “‘AI 오픈스케일’은 관리, 운영, 모니터링, 퀄리티 유지 측면을 해결해주기 위한 솔루션으로 시장에 나왔다”라고 말했다.
| 최안나 한국IBM 왓슨 기술 영업 총괄 실장
AI의 불확실성은 기업이 AI 도입을 꺼리는 이유다. IBM 기업가치 연구소가 최근 전세계 5천명의 기업 임원을 대상으로 시행한 조사 결과에 따르면, 82%의 기업이 AI 도입을 검토하고 있지만 도입 장애 요인으로 63%의 기업이 “AI를 확실하게 운용할 수 있는 내부 인력이 부족하다”, 60%의 기업이 “AI에 활용되는 데이터에 대해 신뢰할 수 없고, 기업 내부 및 외부의 여러 규제를 파악하지 못하는 우려가 있다”는 점을 꼽았다.
예를 들어 AI가 대출 심사에 사용되려면 대출 심사 승인 과정이 공정했는지, 편향된 데이터는 없었는지 투명하게 확인돼야 한다. 또 디지털 마케팅 분야의 주요 이슈인 ‘광고 사기’ 탐지에서도 어떤 이유에서 AI가 해당 거래를 사기라고 판단했는지 설명할 수 있어야 관리자가 신뢰를 갖고 적극적으로 AI를 활용할 수 있다.
IBM은 AI 오픈스케일을 통해 AI가 가진 블랙박스 같은 불확실성을 제거해줄 수 있을 것으로 기대한다. IBM 측은 AI 오픈스케일을 이용할 경우 기업은 AI 모델이 적용된 시스템이나 운용 환경에 관계없이 AI가 도출한 의사결정 과정을 정확하게 이해하고 투명하게 관리하며, AI의 편향성을 탐지하고 신속하게 대응할 수 있다고 설명했다. AI 오픈스케일에는 머신러닝 모델의 예측을 이해하는 데 사용되는 ‘라임(LIME)’ 기반 모델이 적용됐다.
| ‘AI 오픈스케일’ 사용 화면
AI 오픈스케일에는 AI를 만드는 AI 솔루션도 포함된다. ‘뉴넷S(NeuNetS)’는 AI 설계에 사용되는 복잡한 심층신경망을 자동으로 구축하는 신경망 합성 엔진이다. 기업은 뉴넷S를 활용해 특정 데이터세트에 대한 맞춤형 AI 모델을 데이터 과학자보다 짧은 시간에 자동으로 설계하고, 훈련할 수 있다. 최안나 실장은 “딥러닝과 뉴럴 네트워크에 대해 모르는 사용자도 데이터만 있다면 얼마든지 모델을 만들고 활용할 수 있도록 하는 게 목표”라고 밝혔다.
AI가 만드는 AI에 편향성 문제는 없을까. 이에 대해 최안나 실장은 “편향성이 있을 수 있지만, AI의 편향성 검증을 어떤 방식으로 했는지 문서를 공개했으며 가장 편향이 없는 알고리즘을 사용했고 정확도 평가에 안정적인 방식을 지표화시켜서 사용했다”라며 “지속해서 진화하는 AI가 되어야 하는 건 IBM이 만든 모델도 마찬가지다”라고 말했다.
AI 오픈스케일은 올해 말 IBM 클라우드와 IBM 클라우드 프라이빗을 통해 제공될 예정이다.