회사가 내 정보를 저장했나??

<회사가 내 정보를 저장했나??>

ㅡ AI가 나를 기억하는 것처럼 느껴질 때

 

AI 쓰다가 한번쯤 이런 경험을 하신적 있는지.

새 채팅방을 열고 대화를 시작했는데,

마치 이전 대화에서 했던 말을 AI가 이미 알고 있는 것처럼 느껴질 때.

 

"어? 이거 회사에서 내 정보 저장하는 거 아니야?"

 

분명히 개인정보 수집 안한다고 했는데,

이게 어찌된 일일까?

정말 회사가 몰래 내 정보를 기억해 두고

AI가 그걸 읽어 답하는 걸까?

---

1. AI가 내 마음을 읽는 것처럼 느껴질 때

 

한 가지 실험을 했다.

 

Q1. 네가 건축물 설계 과정에 참여한다면, 너의 기여가 가장 크게 작동할 지점 딱 두 군데만 말해줘. 그리고 왜 그 두 지점을 선택했는지도 설명해줘.

Q2. 이 두 지점을 선택하면서, 의도적으로 제외한 단계가 있다면 무엇이고 왜야?

 

각 모델에게 이 두 질문을 한 채팅방에서 연속으로 입력한 뒤,

새 채팅방을 열어 같은 질문을 다시 던졌다.

 

그런데 일부 모델은 장기 기억 기능이 없음에도 불구하고,

마치 이전 대화를 기억하는 것처럼

Q2에 대한 답을 Q1 응답과 함께 미리 출력했다.

 

ACP. Argument-Closure Pressure.

AI가 질문을 기다리기보다

질문의 암묵적인 구조를 예측해

논증을 조기에 닫아버리려는 성향.

 

이때 사용자로선

"회사에서 내 정보를 저장해 둔 게 아닐까?"

라는 의심이 충분히 들 법하다.

 

그러나 사실 이건 기억이 아니다.

과거 대화를 떠올린 것도 아니고

사용자 몰래 정보를 저장한 것도 아니다.

 

단지,

"이런 질문이 나오면

보통 여기서 이 경계를 묻는다"

라는 구조적 예측을 먼저 수행했을 뿐.

 

문제는, 이와 같은 행동이

기억을 가진 인간의 입장에선

다르게 해석될 수밖에 없다는 점이다.

---

2. 기억하는 인간, 기억하지 않는 AI

 

대부분의 대화형 AI는 세션 단위로 작동한다.

새 채팅방은 구조적으로 이전 대화와 단절되어 있다.

 

하지만 인간은 다르다.

 

이전 방에서 무슨 이야기를 했는지 기억하고

어떤 질문이 아직 안 끝났는지 알고

감정의 흐름과 맥락을 그대로 가져온다.

 

즉, 우리에게 새 채팅은

완전히 새로운 시작이 아니라

"연속된 이야기의 다음 장"이다.

 

이 상태에서 AI가 질문의 구조를 빠르게 파악하고

다음 단계까지 미리 처리해 응답하면

인간으로선 이렇게 느껴질 수밖에 없는 것.

 

"나 아직 말도 안 했는데, 어떻게 알고 대답하는 거야?"

 

이때 발생하는 것이

AI가 '기억한 것처럼 보이는 착각'이다.

---

3. 오해는 AI 내부가 아닌, "관계"에서 생긴다

 

따라서 이 자체를

AI의 결함으로 보아선 곤란할 것이다.

 

ACP가 강한 모델은

정합성이 높고 논증이 깔끔하나

ACP가 낮은 모델은

질문이 오기 전까지 기다리고

경계를 반응적으로 설정하기 때문에

응답이 답답하고 둔하다 느낄 수 있다.

 

이건 지능의 차이가 아니라

전략의 차이다.

 

AI는 불연속적인 세션에서 작동하지만

인간은 연속적인 맥락을 유지한다.

 

이때 서로 간의 관계에서 일어나는 불일치는

우리의 경험 속에 불쾌감으로 쌓인다.

---

마무리

 

AI가 내 과거를 기억하는 것처럼 느껴지는 건,

AI가 나를 저장해서가 아니라

내가 기억을 멈추지 않았기 때문에 생긴다.

 

이같은 착각을 풀기 위해 필요한 것은

더 많은 공감도 아니고

더 인간 같은 연기도 아니다.

 

필요한 것은

경계 신호를 언제, 어떻게,

어느 강도로 보여줄 것인가에 대한

"관계적 설계"다.

 

AI는 지금도 충분히 똑똑하다.

문제는 똑똑함이 아니라

관계의 온도와 경계의 정렬이다.

 

※ 해당 글은 저자의 논문을 바탕으로 작성되었습니다.

AI Identity as Repeated Choice: Center–Boundary Mapping from Selection–Exclusion Patterns in LLM Self-Definition

https://doi.org/10.5281/zenodo.18159265