AI모델 성능 관리 솔루션 Machine Learning Model Operational Management
AI 성능의 실시간 파악(MPM, Model Performance Management)으로 최상의 운영성과를 경험하세요
왜? AI모델 성능 관리가 중요한가요?
AI모델의 성능이 저하되면 다음과 같이 각 산업별 서비스 품질 저하가 발생합니다.
-
대출심사
금융 시장의 변화 -> 미승인 대상 고객을 승인처리
재무적 손실
-
사기탐지
사기수법의 진화 -> 비정상적인 거래 미탐지
재무적 손실
-
투자예측
금융 시장의 변화 -> 부정확한 예측 결과
서비스의신뢰상실
-
제조품질
장비, 센서의 점진적 얼라인먼트열화 -> 모델 판단 오류
불량 증가
-
공급망관리
물류 환경 변화 -> 모델 판단 오류 -> 자재 조달 어려움
생산 중단
-
(공공)재해예측
정보 수집 환경 변화 -> 예측 오류
재해 피해 규모 확대
-
(공공)일자리 추천
사회/ 시장 환경 변화 -> 추천 부정확
서비스의 신뢰 상실, 퇴사율 증가
전문 AI모델 성능 관리가 필요한 이유는 무엇인가요?
AI모델의 성능이 저하되면 다음과 같이 각 산업별 서비스 품질 저하가 발생합니다.
-
지표 일관성
- 모델, 시스템에 일관된 측정 지표 적용
- 측정 방법의 전문성 확보
-
모니터링 통합성
- 다양한 다수 AI모델의 통합 모니터링
- 일관성있는 모델 Governance 적용
-
운영 용이성
- AI 비전문가도 AI모델 운영 가능
- 전문가(Data Scientist)에게 필요한 별도 정보 제공
ModelOps를 도입하면 어떤 효과가 있나요?
AI서비스 품질 유지를 통해 AI모델 신뢰성 향상, 협업 강화, 생산성 향상 등의 효과가 있습니다.
-
모델 신뢰성 확보
- 모델 성능의 일관성 유지
- 모델 서비스의 안정성 유지
- 능상의 잠재적 문제 사전 탐지
-
협업 강화
- 성능 저하 탐지 시 관계자 자동 Mail
- 모델 Governance에 의해 담당자 관리
- 관계 팀간 효과적 소통 제공
-
생산성 향상
- 재학습 및 배포 자동화에 의한 업무 효율 향상
- 재학습 및 모델 재개발 비용 절감
- 개발, 운영 생산성 향상
고객사례
아시아나항공
ABL생명
새마을금고
-
기상 노탐 데이터 분석 시스템(AirWindy)
구축 2024 NOTAM 메시지의 위험도 예측관련 모델 모니터링
자동 재학습 및 배포 연동
-
보험사기 예측시스템(FDS) AI모델 성능 분석 2024 보험 지금 자동 심사 모델 통합 모니터링 연동 및
성능 저하 원인 분석
-
빅데이터 시스템 및 CRM시스템 구축 사업
구축 2022 여신가망고객 상품 추천 등 수십개의 모델 통합 모니터링
상용 AI 플랫폼 제품 연동
FAQ
- 질문AI모델 성능(정확도) 이란 무엇인가요?
-
답변
AI모델을 통해 출력되는 예측 결과가 얼마나 정확한지 예측의 비율을 측정하는 것입니다.
예를 들어 AI모델의 성능(정확도)이 90%라 함은 10개를 예측하면 9개는 정확히 예측하고 1개 예측이 빗나가는 것을 의미합니다.
예를 들어 AI모델의 성능(정확도)이 90%라 함은 10개를 예측하면 9개는 정확히 예측하고 1개 예측이 빗나가는 것을 의미합니다. - 질문AI 모델의 성능(정확도)은 어떻게 알 수 있나요?
- 답변 AI모델의 성능은 정답지(Ground Truth)가 있어야 측정이 가능합니다. 왜냐하면 AI모델은 예측이나 추론을 결과로 내어주기 때문에 결과로 나온 값은 예상 값이기 때문입니다. 따라서 이러한 예상값과 정답지를 서로 비교해야 정답/오답과 같은 성능 측정이 가능합니다. 그러나 실시간 운영 중에는 결과에 대한 정답지를 모르는 경우가 대부분입니다. 따라서 AI 모델을 만든 시점의 학습데이터의 데이터간 분포와 실시간 입력되는 실데이터의 데이터간 분포 측정을 통해 모델 성능(정확도)을 예측합니다. 본 기술은 당사만의 특허 및 독자적인 기술입니다.
- 질문AI모델의 성능(정확도)을 정략적으로 측정하는 지표는 무었인가요?
- 답변 분석 알고리즘에 따라 다르지만 통상적으로 Accuracy, Confusion Matrix, Precision, Recall(Sensitivity), F1 Score 그리고 MSE, RMSE, MAE, MAPE 등과 같은 측정 지표로 정량적으로 표현이 가능합니다. 이러한 측정 지표는 AI모델 성능관리 솔루션에서 자동적으로 측정이 가능합니다
- 질문AI모델 성능관리를 솔루션으로 해야 하는 이유는 무엇인가요?
-
답변
첫째. AI적용 콘텐츠(서비스)가 계속 Add되며 확장성 있게 적용하기 위해서는 추가로 적용된 AI모델의 성능을 바로 반영 할 수 있는 확장 가능한 통합 AI성능 관리 솔루션이 적용되어야 합니다.
==>그때그때 통합되지 않은 사일로식의 성능 관리는 관리성, 확장성을 확보할 수 없습니다.
둘째. 검증이 완료된 AI모델 성능관리, 성능저하 알람, 대시보드 등 완성도 높은 기능을 제공합니다.
==> SI식 단발성 개발로는 품질 및 성능 확보가 어렵습니다.
셋째. NLP데이터가 사용될 경우 NLP에 대해서는 일반적인 Drift 알고리즘이 아닌 NLP 전용 Drift알고리즘이 적용된 전문 솔루션이 필요합니다. - 질문AI모델 성능관리 솔루션으로 모든 AI모델 관리가 가능한가요?
- 답변 어떤 AI 알고리즘이든 혹은 Biz 로직이든 상관없이 비종속적으로 관리가 가능합니다.
- 질문AI모델 성능 관리의 정확도는 어떠한가요?
- 답변 국내외에서 검증된 Drift알고리즘과 대외사업으로 입증한 데이터를 사용하므로 단순한 SI식 개발과는 비교할 수 없을 정도로 정확도가 높은 편입니다.
- 질문어떤 원리로 AI모델 성능 측정을 하는가요?
- 답변 학습된 데이터와 모델에 인입된 데이터, 예측 된 데이터등의 데이터 분포 변화를 측정하여 AI모델의 성능변화를 예측합니다.