제이앤엠뉴스 | 기업들의 생성형 AI 도입 경쟁이 본격화되면서 그동안 관심은 자연스럽게 ‘어떤 AI 모델을 사용할 것인가’에 집중됐다. 더 높은 벤치마크 점수를 기록한 모델, 더 빠른 추론 속도와 뛰어난 언어 능력을 가진 모델이 기업의 AI 경쟁력까지 좌우할 것이라는 기대도 컸다.

하지만 AI가 실험 단계를 지나 실제 업무 현장으로 들어오기 시작하면서 다른 문제가 떠오르고 있다. 좋은 모델을 선택하는 것과 그 모델을 실제 서비스에서 안정적으로 사용하는 것은 별개의 문제라는 것이다.

잘 만들어진 데모에서는 AI가 놀라울 정도로 정확하게 작동할 수 있다. 사용할 데이터와 질문의 범위가 어느 정도 정해져 있고 개발자가 예상한 시나리오 안에서 시스템을 검증하기 때문이다.

실제 서비스 환경은 다르다. 데이터는 계속 추가되고 수정되며 사용자는 개발자가 예상하지 못했던 방식으로 질문한다. 외부 API가 느려지거나 장애가 발생할 수도 있고, 이용량이 늘어나면서 예상보다 많은 추론 비용이 발생하기도 한다. 동일한 질문에 답변 품질이 달라지거나 내부 정보에 접근해서는 안 되는 사용자가 민감한 데이터를 요청하는 문제도 고려해야 한다.

결국 ‘AI가 얼마나 똑똑한가’에서 ‘똑똑한 AI를 얼마나 안정적으로 사용할 수 있는가’로 기업들의 고민이 옮겨가는 셈이다.

이 과정에서 주목받는 분야가 AI Engineering이다.

AI Engineering은 특정 모델을 도입하는 것에 그치지 않고 모델과 데이터, 애플리케이션, 평가 체계와 운영 환경을 하나의 시스템으로 연결해 실제 서비스가 지속적으로 작동할 수 있도록 만드는 영역이다.

생성형 AI가 빠르게 발전하면서 운영 방식도 세분화되고 있다. 기존 머신러닝 시스템을 관리하던 MLOps에서 한발 더 나아가 대규모언어모델(LLM)의 개발과 배포, 평가 등을 관리하는 LLMOps가 등장했고, 최근에는 여러 AI Agent의 행동과 성능을 관리하는 AgentOps까지 논의되고 있다.

기업이 고려해야 하는 범위도 그만큼 넓어졌다. 프롬프트를 어떻게 관리할지부터 기업 내부 정보를 AI가 활용할 수 있도록 하는 검색증강생성(RAG), 외부 서비스와 AI를 연결하는 Tool Calling, 사용자별 접근 권한과 데이터 보안, 모델 사용에 따른 비용까지 하나의 운영 구조 안에서 다뤄야 한다.

특히 생성형 AI는 기존 소프트웨어와 달리 같은 입력에서도 항상 동일한 결과를 보장하기 어렵다는 특징이 있다. 서비스를 출시한 뒤에도 답변 품질을 지속적으로 확인하고 잘못된 응답이 발생하는 조건을 찾아 개선하는 평가 체계가 중요한 이유다.

이 때문에 AI 시스템을 구축할 때는 데이터와 지식, 모델과 오케스트레이션, 실제 사용자 애플리케이션, 평가, 운영, 거버넌스 등 여러 계층을 함께 설계해야 한다는 의견이 나온다.

현장에서는 이 가운데 모델 자체에 지나치게 많은 관심이 집중되는 문제도 지적된다. 더 좋은 모델을 찾고 정확도를 높이는 작업에는 상당한 시간과 비용을 투입하면서 정작 그 AI가 실제 업무 과정에 어떻게 들어갈 것인지, 직원들이 얼마나 사용할 것인지, 장애가 발생했을 때 어떻게 대응할 것인지에 대한 설계는 뒤로 밀리는 경우가 있다는 것이다.

AI 투자 성과를 바라보는 기준도 달라질 필요가 있다.

모델의 정확도가 몇 퍼센트인지, 특정 벤치마크에서 몇 위를 기록했는지만으로 기업이 얻은 가치를 설명하기는 어렵다. 실제 서비스가 만들어졌다면 직원이나 고객이 얼마나 자주 사용하는지, 기존 업무시간을 얼마나 줄였는지, 비용 절감 효과가 있었는지, 고객 경험은 개선됐는지까지 함께 확인해야 한다.

예를 들어 높은 정확도를 가진 AI 시스템을 구축했더라도 업무 과정이 복잡해 직원들이 사용하지 않는다면 기업 입장에서 성공적인 AI 도입이라고 평가하기 어렵다. 반대로 최고 성능의 모델이 아니더라도 반복 업무 시간을 크게 줄이고 운영비용을 낮췄다면 실질적인 투자 효과는 더 클 수 있다.

SotaTek Korea는 이러한 기업의 AI Engineering 구축 과정에서 요구사항 분석부터 솔루션 아키텍처 설계, 데이터 파이프라인 구축, RAG 및 AI Agent 개발, 자동 평가 체계와 CI/CD, 서비스 운영 모니터링까지 전 과정을 지원하고 있다고 밝혔다. 한국과 베트남 개발 조직의 협업을 통해 프로젝트 규모와 기업 환경에 맞춘 개발·운영 체계를 제공한다는 설명이다.

AI 개발 파트너를 선정하는 기업의 기준 역시 달라지고 있다. 짧은 시간 안에 인상적인 데모를 만드는 능력도 중요하지만, 실제 기업 환경의 데이터와 시스템에 연결하고 서비스 출시 이후까지 운영할 수 있는지가 더욱 중요해지고 있다.

어떤 데이터에 AI가 접근할 수 있는지, 사용자의 권한은 어떻게 구분할지, 답변 품질은 어떤 기준으로 검사할지, 장애가 발생하면 어떻게 대응할지와 같은 문제는 데모 화면만으로 확인하기 어렵다. 특정 AI 모델의 가격이나 성능이 달라졌을 때 다른 모델로 교체할 수 있는 구조인지, 사용량 증가에 따른 비용을 통제할 수 있는지도 장기 운영에서는 중요한 요소가 된다.

생성형 AI 시장에서는 새로운 모델이 짧은 주기로 등장하고 있다. 오늘 가장 뛰어난 모델이 몇 달 뒤에도 최선의 선택이라는 보장은 없다.

따라서 기업의 장기적인 AI 경쟁력은 하나의 모델을 얼마나 빨리 도입했느냐보다 새로운 모델과 기술이 등장했을 때 기존 시스템에 얼마나 유연하게 적용하고 안정적으로 운영할 수 있느냐에 의해 결정될 가능성이 커지고 있다.

AI 프로젝트의 목적도 결국 ‘가장 좋은 AI를 갖는 것’에서 끝나지 않는다. 기술의 잠재력을 실제 업무와 서비스 안으로 가져와 사람들이 계속 사용할 수 있게 만드는 것, 그리고 그 과정에서 실제 비즈니스 성과를 만들어내는 것이 중요하다.

모델 경쟁이 치열해질수록 역설적으로 모델 바깥의 역량이 중요해지는 이유다. 기업의 AI 경쟁은 이제 어떤 모델을 선택했는지를 넘어, 그 모델을 얼마나 잘 일하게 만들 수 있는지를 묻는 단계로 이동하고 있다.