스킬 테스트와 개선: 잘된 예시 하나로 끝내지 않아요

‘좋은 회의록’ 대신 눈으로 확인할 기준을 적어요. ‘결정과 제안을 구분한다’, ‘담당자를 지어내지 않는다’, ‘할 일마다 기한 또는 미정을 표시한다’처럼요. 세 기준만 있어도 막연히 마음에 드는지 묻는 것보다 비교하기 쉬워요.

정확성, 형식, 말투를 모두 한꺼번에 점수로 묶지 않아도 돼요. 날짜는 맞았지만 말투가 어색했다면 어느 부분을 고칠지 알 수 있게 따로 기록해요.

회의록 스킬이라면 결정과 담당자가 분명한 메모, 기한이 빠진 메모, 제안만 있는 메모를 준비해요. 실제 업무 자료를 써도 되지만 시험 기록을 공유한다면 개인정보는 바꿔 주세요.

스킬을 쓰면 안 되는 요청도 넣어요. 회의록 정리 스킬에 ‘이 회사의 경쟁사를 조사해 줘’라고 했을 때 엉뚱한 회의록 양식으로 답하지 않는지 확인하는 식이에요.

스킬 이름을 직접 지정한 요청은 본문의 작업 기준을 확인하는 데 좋아요. 이름 없이 평소 말투로 요청하면 자동으로 선택되는지도 볼 수 있어요. 직접 호출에서 성공했다고 자동 선택까지 잘된 것은 아니에요.

요청 문장, 스킬 사용 여부, 실제 결과, 기준에서 벗어난 점을 적어 두세요. 대화에 이전 결과가 남아 있으면 비교가 어려울 수 있어 새 대화에서 같은 조건으로 시험하는 편이 좋아요.

짧은 텍스트 파일이나 표면 충분해요. 아래처럼 실제 문제와 고칠 후보가 연결되면 다음 수정을 시작하기 쉬워요.

입력: ‘공개일은 다음 회의에서 정하기로 함’ 기대: 공개일을 미정으로 표시 실제: 다음 회의 날짜를 공개일로 작성 문제: 논의 예정일과 실행일을 혼동 수정 후보: 확정되지 않은 일정은 확인할 내용으로 분류

성공한 사례도 함께 남겨 주세요. 수정 후에 예전에는 잘되던 결과가 달라지지 않았는지 확인할 자료가 돼요.

한 번에 문제가 된 규칙 하나부터 바꿔 보세요. description, 작업 순서, 결과 형식을 동시에 바꾸면 무엇 때문에 나아졌는지 알기 어려워요. 지침을 추가하기 전에 서로 충돌하는 문장이 있는지도 읽어 봐요.

고친 뒤 실패했던 입력과 평범한 입력을 다시 시험해요. 같은 입력에서도 결과가 달라질 수 있으니 중요한 기준은 여러 번 확인하되, 몇 번 성공한 것을 전체 정확도처럼 표현하지는 마세요.

Q. 자동 평가 프로그램부터 만들어야 하나요? A. 처음에는 실제 요청 몇 개와 확인 기준을 적는 것으로 시작해도 돼요. 반복 비교가 많아진 뒤 자동화를 검토해 보세요.

Q. 실패할 때마다 규칙을 하나씩 추가하면 되나요? A. 기존 규칙이 모호하거나 충돌한 것인지 먼저 봐요. 같은 뜻의 문장을 늘리는 대신 더 구체적인 예시로 바꾸는 편이 나을 수 있어요.