AI 데이터 검수, 맡겼지만 못 믿어서 다시 본 후기

지난 글에서 노션으로 견적 관리 시스템을 만든 이야기를 했습니다. 그 글 끝에 "지나간 데이터를 마저 정리하겠다"고 적어뒀는데, 오늘은 그 정리 작업을 실제로 하면서 겪은 이야기입니다. 한마디로 요약하면 이렇습니다. AI한테 검수를 맡겼는데, 그 결과를 못 믿어서 결국 처음부터 다시 봤습니다.

혼자 수백 건을 일일이 대조하기엔 벅차서, AI에게 "견적이랑 거래명세서 짝이 맞는지 한번 봐줘"라고 시켰습니다. 결과가 깔끔하게 나왔습니다. 그런데 그걸 그대로 믿고 넘어갔다면 큰일 날 뻔했어요. 막상 한 건씩 들여다보니 함정이 곳곳에 있었거든요.

합계가 딱 맞는데, 알고 보니 다른 물건이었다

가장 인상 깊었던 함정은 이거였습니다. 어떤 거래 하나에 견적 세 건이 묶여 있었는데, 그 세 건의 금액 합이 거래 금액과 1원도 안 틀리고 정확히 맞았습니다. 담당자도 같고, 시기도 비슷했어요. 누가 봐도 "이게 짝이네" 싶었죠.

그런데 품목을 보니 전혀 다른 물건이었습니다. 거래된 건 A라는 부품인데, 묶인 견적 세 건은 B라는 부품의 견적이었어요. 금액만 우연히 맞아떨어진 거였습니다. 만약 합계가 맞는다고 그대로 확정했다면, 엉뚱한 견적에 거래를 붙여놓고 "정리 끝났다"고 착각했을 겁니다.

여기서 하나 배웠습니다. 합계가 맞는다는 건 생각보다 약한 증거라는 것. 여러 견적을 이리저리 조합하면 같은 합계가 우연히 만들어질 수 있거든요. 그래서 금액이 맞아도 안심하지 않고, 품목이 같은지를 꼭 같이 봐야 했습니다. "합계 일치 + 품목 불일치"는 오히려 잘못된 짝이라는 경고 신호였어요.

AI가 내 메모를 안 읽고 지나갔다

두 번째 함정은 좀 황당했습니다. 저는 검수하면서 표 한쪽에 칸을 따로 만들어 "이건 이래서 이게 맞다" 하고 메모를 적어뒀습니다. 답을 제가 직접 적어둔 셈이죠. 그런데 AI한테 다시 검토를 시켰더니, 멀쩡히 적어둔 그 메모를 아예 안 읽고 지나가더라고요.

알고 보니 AI는 자기가 만든 칸만 들여다보고, 제가 나중에 추가한 칸은 있는지도 모르고 넘어가는 버릇이 있었습니다. 그래서 "내가 봤을 땐 이거 분명히 틀린 건데?" 하고 잡아낸 것들이, 사실은 제가 이미 옆 칸에 답을 적어둔 정상 건이었어요. AI가 그걸 못 읽어서 "오류 같다"고 잘못 올린 거였죠.

해결은 단순했습니다. "내가 추가한 칸도 빠짐없이 다 읽어"라고 매번 명확히 말해주는 것. 한 번 시키고 끝이 아니라, 작업할 때마다 이걸 짚어줘야 했습니다. 사람한테는 "여기 메모 봐주세요" 한 번이면 되는데, AI는 그 당연한 걸 매번 일러줘야 하더군요. 같이 일하려면 AI가 무엇을 못 보는지부터 알아야 한다는 걸 배웠습니다.

그래서 내가 OK한 것까지 다시 의심했다

이쯤 되니 생각이 바뀌었습니다. AI가 틀릴 수 있다면, 반대로 제가 틀렸을 수도 있다는 거죠. 검수하다 보면 실수로 통과시킨 것도, 반대로 멀쩡한 걸 보류해둔 것도 있을 테니까요.

그래서 한 번 더 교차로 확인했습니다. 제가 OK한 것을 AI한테 다시 점수 매겨보게 하고, 차이가 크게 나는 것만 추려냈어요. "OK인데 점수가 낮은 것"은 제가 실수로 통과시켰을 가능성, "보류인데 점수가 높은 것"은 제가 놓친 짝. 양쪽 다 걸러내니, 제 판단도 AI의 판단도 한 번씩 의심받게 됐습니다.

이 과정에서 반전도 있었습니다. 폐기하려고 빼둔 견적 더미를 다시 보니, 상당수가 사실은 진행됐던 거래였어요. 견적서를 따로 안 쓰고 구두로 진행한 건들이라 기록상 "짝 없음"으로 보였던 것뿐이지, 실제로는 제작까지 끝난 멀쩡한 거래였습니다. 성급하게 버렸으면 멀쩡한 매출 기록을 통째로 날릴 뻔했죠.

맡기되, 믿지는 않는다

작업을 마치고 정리된 생각은 이렇습니다. AI한테 일을 맡기는 것과, 그 결과를 믿는 것은 다른 문제라는 것.

AI는 수백 건을 빠르게 훑어주는 데는 분명히 강했습니다. 저 혼자 했으면 며칠 걸렸을 대조를 순식간에 해줬어요. 하지만 합계만 보고 짝을 지어버리거나, 제가 적어둔 메모를 못 보고 지나가는 식의 빈틈이 있었습니다. 그 빈틈을 메우는 건 결국 사람 몫이었어요.

그래서 제가 택한 방식은 "맡기되 믿지 않는다"입니다. 거창한 불신이 아니라, 대부분은 AI가 처리하게 두되 최종 확인은 내 눈으로 한 번 더 한다는 뜻이에요. 특히 숫자가 한번 틀어지면 매출 집계가 통째로 어긋나는 일이라, 여기선 정확성을 양보할 수 없었습니다. 자동화의 속도와 사람의 판단, 둘 중 하나만으로는 안 되고 둘을 겹쳐야 비로소 믿을 만한 결과가 나왔습니다.

이번 작업에서 배운 것

• 합계가 맞는다는 건 약한 증거다. 금액이 맞아도 품목까지 같은지 봐야 진짜 짝이다.
• AI는 자기가 만든 칸만 보는 버릇이 있다. 내가 추가한 정보는 매번 "다 읽어"라고 짚어줘야 한다.
• AI도 나도 틀릴 수 있다. 양쪽 판단을 교차로 한 번씩 의심하는 게 안전하다.
• 성급하게 버리지 말 것. 폐기 더미에 멀쩡한 거래가 숨어 있을 수 있다.
• AI에 맡기되 믿지는 않는다 — 속도는 AI, 최종 확인은 사람.

아직 정리는 끝나지 않았습니다. 올해 초 거래 중에는 그 짝이 되는 견적이 작년 말에 묻혀 있을 가능성이 보여서, 다음엔 그 범위까지 넓혀 다시 맞춰볼 생각입니다. 검수란 게 한 번에 끝나는 일이 아니라는 걸 이번에 절감했어요. 그 과정도 틈틈이 기록으로 남기겠습니다.

👉 이어지는 글: 업무 매뉴얼 대신, AI로 게임처럼 따라가는 화면 만든 후기