오늘 배운 내용
오늘은 AI 서비스를 개발하는 과정에서 코드와 워크플로를 어떻게 관리하고 검증할지 살펴보고, 팀 프로젝트에서 해결할 문제를 어떻게 정의할지 논의했다. 단순히 AI가 코드를 작성하거나 답변을 생성하는 것에서 끝나는 것이 아니라, 변경 사항을 추적하고 결과를 검증하며 실제 배포와 운영까지 통제하는 과정이 중요하다는 점을 중심으로 정리할 수 있다.
또한 AI 코딩 에이전트의 활용 방식과 개발 환경의 차이를 살펴보고, 기업형 기술 지원 자동화라는 방향 안에서 실제 프로젝트 주제를 탐색했다.
1. 릴리스 관리와 품질 검증
LLM 기반 서비스를 운영할 때는 프롬프트나 모델을 변경하는 것만으로도 결과가 달라질 수 있다. 따라서 변경 사항을 적용한 뒤에는 기존 결과와 비교하고, 품질 기준을 통과했는지 확인하는 과정이 필요하다.
릴리스별 검증과 품질 게이트
릴리스 검증 워크플로는 특정 버전을 대상으로 미리 정해 둔 질문을 실행하고, 응답이 기대한 결과에 부합하는지 확인하는 방식이다.
예를 들어 릴리스 버전 1.2.0을 검증한다면 다음과 같은 과정을 거칠 수 있다.
* 검증 대상 릴리스 버전을 지정한다.
* 고정된 질문 세트를 실행한다.
* 응답의 정확성과 기대 결과 충족 여부를 확인한다.
* 검사 결과를 릴리스 버전과 함께 기록한다.
* 검증 결과에 따라 배포 가능 여부를 결정한다.
여기서 중요한 것은 단순히 워크플로가 오류 없이 실행되었다는 사실과 응답 품질이 기준을 통과했다는 사실을 구분하는 것이다.
이전 수업에서 다룬 품질 게이트, 평가 데이터, P50·P95 응답 시간 등의 개념도 이러한 검증 체계와 연결된다. 품질을 판단할 기준을 미리 정의하고, 모델이나 설정을 변경했을 때 그 기준을 만족하는지 반복적으로 확인해야 한다.
검증되지 않은 릴리스의 배포 방지
검증 절차를 개발자의 기억에만 의존하면 실수로 검사하지 않은 버전을 배포할 수 있다.
이를 방지하려면 배포 직전에 해당 버전의 검증 결과를 확인하도록 워크플로를 구성해야 한다. 검증 기록이 없거나 기준을 통과하지 못했다면 배포 단계가 진행되지 않도록 하는 것이다.
이러한 구조는 AI 개발에서도 일반적인 소프트웨어 배포와 마찬가지로 변경 이력과 품질 검증이 중요하다는 점을 보여 준다.
2. 워크플로 버전 관리와 AI 코딩 에이전트
변경 이력을 남기는 이유
8교시에서는 AI 코딩 에이전트가 워크플로를 수정할 때 발생할 수 있는 관리 문제도 다뤘다.
에이전트가 기존 워크플로를 수정하거나 노드를 추가·삭제하면 결과물은 바뀌지만, 어떤 작업이 언제 이루어졌는지 기록하지 않으면 이전 상태와 비교하기 어려워진다.
이를 해결하기 위한 아이디어로 워크플로 파일의 버전 관리와 변경 사항 비교 기능이 제시됐다.
필요한 기능은 다음과 같이 정리할 수 있다.
* 워크플로의 이전 버전과 현재 버전을 저장한다.
* 두 버전의 차이를 비교한다.
* 노드가 추가되거나 삭제된 부분을 구분한다.
* 노드 설정이나 연결 관계가 변경된 부분을 확인한다.
* 단순히 노드의 위치만 옮긴 경우처럼 의미 없는 차이는 구분하거나 제외한다.
* 터미널에서 특정 명령어로 실행할 수 있도록 해 사용성을 높인다.
특히 시각적으로 노드가 어디에 배치되어 있는지만 비교하는 것이 아니라, 워크플로의 실제 동작에 영향을 주는 변경 사항을 식별하는 것이 중요하다.
개발 환경에 따른 차이
강의에서는 여러 코딩 에이전트와 개발 환경을 사용하는 사례가 공유됐다. 도구마다 코드 작성 방식이나 결과를 확인하는 인터페이스가 다를 수 있으며, 계획서를 먼저 제공하고 작업 범위를 제한하는 방식도 언급됐다.
또한 UI가 있는 데스크톱 환경뿐 아니라, UI 없이 터미널에서 실행할 수 있는 방식도 다뤘다.
이 내용을 통해 AI 코딩 에이전트를 사용할 때는 단순히 어떤 모델이 더 똑똑한지를 비교하는 것뿐 아니라, 다음 조건도 고려해야 한다는 점을 정리할 수 있다.
* 작업 지시와 계획을 얼마나 명확하게 전달하는가?
* 수정 범위를 제한하고 기존 구조를 보존할 수 있는가?
* 변경 사항을 검토하고 이전 버전과 비교할 수 있는가?
* 로컬 환경과 서버 환경에서 동일한 작업을 재현할 수 있는가?
* 실행 결과와 오류를 추적할 수 있는가?
강의에서 소개된 버전 비교 도구는 이러한 문제를 해결하기 위한 아이디어였으며, 사용자가 직접 완성하거나 검증했다는 사실까지는 전사문에서 확인되지 않는다.
3. 기업형 AI 프로젝트 주제 선정
이번 수업에서는 기업의 기술 지원 업무를 AI로 자동화한다는 큰 방향 아래 여러 프로젝트 후보를 논의했다.
후보별 문제와 구현 가능성
POS·결제 단말기 오류 대응
매장에서 발생하는 결제, 네트워크, 주변기기 문제 등을 분류하고 해결 방법을 안내하는 방식이다. 해결하기 어려운 문제는 담당자에게 넘길 수 있다. 다만 실제 오류 데이터의 확보가 어려울 수 있다는 점을 고려해야 한다.
쇼핑몰 고객 지원 자동화
주문, 결제, 배송, 상품 관련 문의를 자동으로 처리하고, 복잡한 사례는 사람에게 연결하는 방식이다. 단순 FAQ 응답을 넘어 사용자의 구체적인 상황을 파악하고 적절한 해결 절차를 안내하는 것이 핵심이다.
콘텐츠 제작 자동화
쇼츠, 카드 뉴스 등 콘텐츠 제작 과정에서 기획과 제작 단계를 지원하거나 자막·음성·편집 관련 문제를 해결하는 방향이다. 활용 범위가 넓은 만큼 어떤 사용자의 어떤 작업을 자동화할지 구체적으로 정해야 한다.
공공데이터 기반 시설 유지보수 지원
따릉이 고장 신고나 자동차 결함 관련 데이터 등을 활용해 문제를 분류하고 대응 방법을 안내하는 방식이다. 다만 데이터가 실제 고장 원인이나 해결 절차까지 포함하는지 확인해야 한다.
웹 서비스·학습 플랫폼 기술 지원
파일 업로드 실패, 페이지 오류, 과제 제출 문제 등 웹 서비스 사용 중 발생하는 문제를 진단하고 해결 방법을 안내하는 방향도 관련 후보로 연결할 수 있다.
이 후보들은 수업에서 논의된 아이디어이며, 이 채팅에서 확인되는 내용만으로는 최종 프로젝트 주제가 확정되었다고 볼 수 없다.
좋은 주제를 고르기 위한 기준
아이디어가 흥미롭다는 이유만으로 바로 개발을 시작하기보다는, 다음 항목을 먼저 확인해야 한다.
* 실제로 해결할 가치가 있는 문제인가?
* 주요 사용자가 누구인지 명확한가?
* 필요한 데이터와 기술을 확보할 수 있는가?
* 외부 API와 서비스의 비용은 감당할 수 있는가?
* 기존 서비스나 오픈소스와 비교해 차별점이 있는가?
* 짧은 개발 기간 안에 핵심 기능을 구현할 수 있는가?
* AI가 자동으로 처리할 부분과 사람이 판단할 부분이 구분되어 있는가?
특히 공개 데이터가 존재한다고 해서 곧바로 좋은 프로젝트가 되는 것은 아니다. 데이터의 양뿐 아니라 실제 문제를 해결하는 데 필요한 정보가 들어 있는지 살펴봐야 한다.
4. AI 개발 도구와 서비스 운영에 관한 관점
마지막에는 Claude Code로 AI 헬스 코치를 개발한 사례를 통해, 개발 도구의 진입 장벽과 서비스 운영에 관해 이야기했다.
강의에서 소개된 사례는 개발 비용이 부족하다는 이유만으로 아이디어 구현을 포기할 필요는 없다는 취지였다. 터미널 기반 코딩 에이전트와 데이터베이스·배포 서비스를 활용하면 과거보다 적은 초기 비용으로 서비스를 만들어 테스트할 수 있다.
여기서 중요한 것은 도구 자체가 아니라 도구를 이용해 실제 문제를 해결하는 과정이다.
또한 경쟁 서비스가 많다는 사실을 무조건 부정적으로 볼 필요도 없다. 경쟁자가 있다는 것은 해당 문제를 해결하려는 사용자가 존재할 가능성을 보여 준다. 반대로 경쟁 서비스가 많다면 기존 서비스가 충분히 해결하지 못하는 문제를 찾아야 한다.
따라서 프로젝트 아이디어를 평가할 때는 다음과 같은 질문이 필요하다.
* 사용자가 이미 어떤 서비스를 이용하고 있는가?
* 기존 서비스에서 불편한 점은 무엇인가?
* 특정 사용자층이나 상황에 집중하면 더 나은 경험을 제공할 수 있는가?
* 개발한 기능이 실제 사용과 지속적인 가치로 이어질 수 있는가?
강의에서 소개된 사업 사례의 구체적인 매출이나 구독 수치는 전사 과정에서 불명확한 부분이 있으므로, 확인되지 않은 숫자를 성과의 근거로 삼기보다는 이러한 사업적 관점을 중심으로 이해하는 것이 적절하다.
5. 오늘의 핵심 개념 정리
오늘 다룬 내용을 연결하면 AI 서비스를 개발하고 운영하는 과정은 크게 세 부분으로 나눌 수 있다.
* 개발: AI 코딩 에이전트를 활용해 코드와 워크플로를 만든다.
* 관리와 검증: 변경 이력을 남기고, 이전 버전과 비교하며, 품질 기준을 통과했는지 확인한다.
* 운영과 개선: 검증되지 않은 배포를 막고, 실제 사용자의 문제와 피드백을 바탕으로 서비스를 개선한다.
프로젝트 주제 선정 역시 같은 관점에서 바라볼 수 있다. 구현할 수 있는 기능을 먼저 나열하기보다는 실제 문제를 정의하고, 필요한 데이터와 도구를 검토한 뒤, 검증 가능한 범위부터 구현하는 것이 중요하다.
6. 복습할 부분
* 릴리스 버전과 검증 결과를 연결해 관리하는 방법
* 고정된 평가 질문과 품질 게이트를 활용한 회귀 테스트
* 워크플로의 노드 추가·삭제·설정 변경을 비교하는 방법
* 터미널 기반 코딩 에이전트와 UI 기반 도구의 차이
* 공개 데이터의 실제 항목과 프로젝트 활용 가능성 확인
* 기존 서비스 조사와 프로젝트 차별점 정의
* AI 자동 처리와 사람에게 넘기는 절차의 경계 설정
7. 오늘의 회고
오늘 수업은 AI를 활용해 무언가를 빠르게 만드는 것뿐 아니라, 만든 결과를 어떻게 관리하고 검증할지, 그리고 무엇을 만들 가치가 있는지 판단하는 과정까지 함께 다뤘다는 점에서 의미가 있었다.
릴리스 검증에서는 단순히 실행이 성공했는지를 넘어 결과의 품질을 확인하고, 검증하지 않은 버전이 배포되지 않도록 절차를 설계하는 것이 중요했다. 워크플로 버전 관리 논의에서는 AI 에이전트가 결과물을 수정하는 환경일수록 변경 사항을 추적하고 비교할 수 있는 장치가 필요하다는 점을 확인할 수 있었다.
프로젝트 주제 논의에서도 기술적으로 구현할 수 있다는 사실만으로는 충분하지 않았다. 실제 사용자의 문제인지, 데이터가 충분한지, 기존 서비스와 무엇이 다른지, 주어진 기간 안에 완성할 수 있는지를 함께 검토해야 했다.
다만 이번 채팅에서 확인되는 자료는 주로 강의 설명과 시연, 아이디어 논의에 해당한다. 직접 구현하거나 검증한 결과는 확인되지 않으므로, 이를 개인적인 실습 성과로 기록하지는 않는다. 다음 단계에서는 후보 주제를 실제 데이터와 기존 서비스 조사로 구체화하고, 개발 과정에서는 변경 이력과 품질 검증을 함께 고려하는 것이 중요하다.
해시태그
#AI오케스트레이션 #AI코딩에이전트 #릴리스관리 #워크플로버전관리 #품질게이트 #회귀테스트 #기업형AI #AI프로젝트기획 #RAG #멀티에이전트
74일차 회고|릴리스 검증·AI 코딩 에이전트·기업형 AI 프로젝트|AI 오케스트레이션 개발자 국비지원
오늘 배운 내용오늘은 AI 서비스를 개발하는 과정에서 코드와 워크플로를 어떻게 관리하고 검증할지 살펴보고, 팀 프로젝트에서 해결할 문제를 어떻게 정의할지 논의했다. 단순히 AI가 코드를 작성하거나 답변을 생성하는 것에서 끝나는 것이 아니라, 변경 사항을 추적하고 결과를 검증하며 실제 배포와 운영까지 통제하는 과정이 중요하다는 점을 중심으로 정리할 수 있다.또한 AI 코딩 에이전트의 활용 방식과 개발 환경의 차이를 살펴보고, 기업형 기술 지원 자동화라는 방향 안에서 실제 프로젝트 주제를 탐색했다.1. 릴리스 관리와 품질 검증LLM 기반 서비스를 운영할 때는 프롬프트나 모델을 변경하는 것만으로도 결과가 달라질 수 있다. 따라서 변경 사항을 적용한 뒤에는 기존 결과와 비교하고, 품질 기준을 통과했는지 확인하는..