같은 질문에
두 AI가 다르게 답할 때

같은 문장을 물어도 답은 달랐습니다

요양원 한 곳을 대상으로 두 생성형 AI에 같은 질문을 해 봤습니다. 지역과 업종을 넣은 추천 질문, 이용 조건을 묻는 질문을 나눠 살펴봤습니다. 같은 시설을 같은 날 물었지만, 시설을 언급하는지와 답변에 표시한 출처가 달랐습니다.

한 답변에서는 고객사의 공식 웹사이트를 직접 인용했습니다. 다른 답변에서는 같은 공식 페이지가 인용되지 않았습니다. 이 기록에서 확인할 수 있는 것은 답변과 표시된 출처의 차이입니다. 이것만으로 각 AI가 항상 특정 종류의 사이트를 우선한다고 판단할 수는 없습니다.

이름이 나오는 것과 정확한 답은 다릅니다

사업장 이름이 답변에 포함됐는지만 세면 놓치는 것이 있습니다. 이름은 맞지만 주소가 오래됐을 수도 있고, 다른 시설의 특징을 섞어 설명했을 수도 있습니다. 반대로 이름이 없어도 질문과 관련된 공식 안내 페이지가 출처로 연결될 수 있습니다.

그래서 결과는 세 항목으로 나눠 봅니다. 언급 여부, 설명의 정확성, 인용 출처입니다. 하나가 좋아졌다고 나머지까지 좋아졌다고 쓰지 않습니다.

차이를 설명하기 전에 조건을 맞춥니다

같은 문장을 입력해도 검색 기능, 모델, 로그인 상태, 앞선 대화가 다를 수 있습니다. 같은 서비스 안에서도 표시되는 모델이나 설정이 바뀌면 비교 조건이 달라집니다. 질문만 같다는 이유로 완전히 같은 조건의 실험이라고 보기는 어렵습니다.

임시 대화나 로그아웃은 확인 가능한 조건 중 하나입니다. 그런 설정만으로 개인화나 위치의 영향을 전부 없앴다고 간주하지 않습니다. 화면에 보이는 모델과 검색 기능, 질문한 시각, 대화 상태를 함께 기록합니다.

• 질문 원문을 그대로 사용하고, 서비스별 답변 전체를 저장합니다.
• 화면에 표시된 모델·검색 설정·날짜와 시간을 적습니다.
• 질문을 반복했다면 각 답변을 남기고, 유리한 결과만 고르지 않습니다.
• 비교 중 바뀐 조건은 결과 옆에 따로 적습니다.

출처를 열어보면 다음 작업이 보입니다

응답에 인용된 사이트의 이름만 확인하고 끝내지 않습니다. 링크를 열어 실제로 어떤 정보가 있는지 봅니다. 공식 웹사이트, 외부 목록, 블로그에 서로 다른 주소나 서비스가 적혀 있다면 무엇을 정리해야 할지 구체적으로 정할 수 있습니다.

공식 페이지를 인용한 응답에서 오류가 보이면 해당 페이지의 내용을 먼저 대조합니다. 외부 채널에 오래된 정보가 남아 있으면 수정 가능한 범위를 확인합니다. 작업 대상은 확인한 정보의 문제에서 정하고, 특정 채널을 고치면 곧바로 추천된다는 식으로 약속하지 않습니다.

합계보다 엔진별 기록을 남깁니다

여러 서비스의 결과를 하나의 점수로 합치면 어느 쪽에서 무엇이 달라졌는지 보이지 않습니다. 같은 질문 묶음이라도 서비스별로 언급과 오류, 출처를 나누어 기록해야 다음 점검에서 변화가 드러납니다.

차이가 생기면 수정한 페이지뿐 아니라 질문·설정·출처가 바뀌었는지도 살펴봅니다. 측정 조건을 먼저 정하고 싶다면 함께 적어둬야 할 기록 항목을 참고할 수 있습니다.