|
필자는 최근 HR AX 프로젝트의 접근 방안을 논의하는 자리에서 두 가지 이야기를 들었다. 하나는 사내 원문 데이터를 상용 프런티어 모델에 검색 증강 생성Retrieval-Augmented Generation, RAG 방식으로 연결했더니 환각Hallucination이 적지 않게 발생했다는 경험담이었는데, 그 환각은 기록에 없는 내용을 그럴듯하게 채워 넣거나 기록된 내용을 엉뚱하게 읽어내는 모습으로 나타났다고 한다. 다른 하나는 조직 내부 환경에 서버를 설치해 AI 모델을 운영하는 온프레미스On-Premise 방식의 로컬 모델로 방향을 바꾸더라도, 짧은 기간 안에 데이터 추출과 가공, 모델 학습까지 마쳐야 하는 일정에서는 한계가 분명하다는 판단이었다. 맥락이 빠져 있거나 작성자마다 서술 방식이 제각각인 원문을 학습에 쓸 수 있는 형태로 정제하는 것만 해도 상당한 시간과 비용이 들기 때문이다.
두 사례에서 공통적으로 문제가 된 것은 원문 기록의 상태다. 셀프 피드백에는 '적극적으로 참여해 좋은 성과를 냄'이라고 적혀 있지만 어떤 과업에서 무엇을 했는지는 없다. 회의록에는 '해당 건은 추후 논의하기로 함'이라고 적혀 있지만 누가 왜 결정을 미뤘는지는 없으며, 이메일에는 '말씀하신 부분 반영했습니다'라고 적혀 있지만 무엇을 어떻게 반영했는지는 없다. 맥락을 모르는 AI는 빈자리를 가장 그럴듯한 추론으로 메우고, 우리는 그 결과를 환각이라 부른다. .jpg) AX 결과의 오류는 기록에서 비롯된다 환각은 대부분 조직 고유의 용어로 인해 발생한다. 가령 사내에서 CS가 전사 역량 진단 프로그램인 '역량 스캔Capability Scan'의 약어로 쓰인다고 하자. 기록에 'CS 결과를 반영해 교육 계획 수립'이라고 적혀 있으면, AI 모델은 이를 고객 서비스Customer Service 결과로 읽고 고객 응대 성과를 정리한 문장을 만들어 낸다. 대규모 언어모델은 공개된 방대한 텍스트 내에서 특정 단어가 쓰이는 패턴을 학습하고, 새로운 문장을 만나면 학습한 패턴 속에서 가장 개연성 높은 의미를 고르기 때문이다. 즉 특정 회사 안에서만 통용되는 의미를 학습하지 못했기에, 의미를 파악하는 데 오류가 발생한 것이다. 기록 단계의 결함이 쌓이면 결국 결과의 오류로 번지게 된다. 구글 리서치의 니티야 삼바시반Nithya Sambasivan 연구팀은 AI 실무자 53명을 인터뷰한 결과를 토대로 실무자의 92%가 기록 단계에서의 작은 결함이 마지막 단계에 오류로 쏟아지는 것을 경험했다고 밝혔으며, 이를 여러 단으로 이어져 떨어지는 폭포에 비유해 '데이터 캐스케이드Data Cascades'라고 정의했다. 즉 AX의 실질적인 출발점은 구성원이 업무를 수행하며 남기는 보고서와 회의록, 이메일과 피드백이 누가 무엇을 왜 결정했는지, 그 판단이 어떤 근거에 기대고 있는지를 AI가 읽어낼 수 있는 구조로 작성하는 것이다. 그리고 그 구조는 무엇이 일어났는지, 그에 대해 무엇을 결정했는지, 그 결정이 무엇에 근거했는지, 무엇이 아직 남아 있는지를 구분해 적고 작성자의 해석을 사실과 나누어 밝히는 것만으로도 실현 가능하다. 기록을 강제하는 것이 아닌 기록이 당연한 문화 구성원들이 기록을 남기도록 하는 가장 손쉬운 처방은 양식을 정하고 필수 항목을 지정한 뒤, 미작성 여부를 점검하는 방식이다. 문제는 AX가 필요로 하는 기록의 품질이 형식의 완결성보다 내용의 진실성에 달려 있다는 데 있다. 사회심리학자 도널드 캠벨Donald Campbell은 특정 지표가 판단과 결정의 기준으로 과도하게 활용될수록, 사람들은 본질적 개선보다 주어진 지표에 결괏값을 맞추는 데에만 치중하게 되며, 결국 그 지표는 현실을 보여주지 못하고 왜곡된다고 지적했다. 회의록 작성률이 점검 대상이 되면 회의록의 수는 늘어나겠지만, 그 회의록에 불편한 결정 과정이나 반대 의견까지 남는다는 보장은 없다. 기록이 통제와 평가의 도구로 인식되는 순간 구성원의 기록 피로와 반발이 쌓이고, 심리적 안전감이 없는 환경에서 그 반발은 의도적 누락과 왜곡으로 나타난다. 따라서 중요한 것은 기록을 강제하는 규정보다 기록이 당연해지는 문화이며, 이는 세 가지 기본가정이 전제될 때 가능하다. 업무 과정에서 의미 있는 정보와 판단, 행동은 기록되는 것이 당연하다는 기록의 문화, 남기는 모든 기록과 정보는 현실을 있는 그대로 담아야 한다는 진실의 문화, 그리고 기록은 서로를 더 나은 방향으로 이끄는 데 쓰인다는 신뢰의 문화다. 세 문화 가운데 토대가 되는 것은 신뢰다. 하버드 경영대학원의 에이미 에드먼슨Amy Edmondson은 병원 간호팀들을 연구하면서, 동료 관계와 리더십이 더 좋다고 평가된 팀에서 투약 오류가 더 많이 보고되는 뜻밖의 결과를 얻었다. 그 차이는 실수의 빈도보다 실수를 드러내도 괜찮다는 믿음에서 비롯됐다. 좋은 팀일수록 실수를 드러내고 기록하는 데 주저함이 적었던 것이다. 신뢰가 없는 곳에서 진실을 요구하면 개인에게 위험을 감수하라는 요구가 되고, 진실이 없는 곳에서 기록을 늘리면 분량만 늘어나 행정 부담이 되고 만다. 심리적 안전감을 바탕으로 유지되는 기록 문화 기록 문화가 이상론처럼 들릴 수 있지만 우리는 이미 그 선례를 갖고 있다. 태조부터 철종까지 472년의 국정을 기록해 1997년 유네스코 세계기록유산에 등재된 《조선왕조실록》이다. 1404년, 사냥 중 말에서 떨어진 태종은 이를 사관이 알게 하지 말라고 일렀으나, 실록에는 낙마한 사실은 물론 비밀 유지를 요청한 사실까지 그대로 적혀 있다. 흔히 사관의 기개가 드러나는 일화로 알려져 있지만, 조직문화 관점에서 더 주목할 것은 그 기개를 지켜 준 제도다. 1438년, 세종이 태종실록을 열람하려 하자 황희와 신개 등은 '군주가 실록을 보는 선례가 생기면 후대에는 잘못을 꾸미고 단점을 감추게 될 것이며 기록 때문에 벌을 받을까 두려운 사관은 임금의 뜻에 맞춰 기록하게 될 것인데, 후세가 무엇을 믿을 수 있겠냐'며 만류했고, 세종은 끝내 실록을 보지 않았다. 사관이 민감한 사안을 따로 적어 집에 보관하던 가장사초家藏史草는 실록 편찬 때까지 사관 외에는 볼 수 없었고, 실록이 완성되면 사초와 초고는 물에 씻어 내용을 지우는 세초洗草를 거쳤다. 또한 사관의 평가를 '사신은 논한다史臣曰'라는 형식으로 따로 기재해 사실과 해석을 분리해 남기는 구조까지 갖추고 있었다. 역사는 이 약속이 흔들렸을 때 어떤 일이 일어나는지도 함께 보여준다. ... 중략 ... |
|
기사 전문은 구독권한이 있는 회원께만 제공됩니다. 먼저 로그인 하세요.
로그인
|
