심화 읽기 · 재구성 본문

How Do You Know That?

편집 요약·Kent Beck·7월 22일 수요일·12분 읽기

20줄 요약20줄 · 펼쳐보기

이번 에피소드는 AI가 무엇을 할 수 있는지가 아니라, 일이 끝난 뒤 사람에게 남는 책임과 배움에 관한 대화다.
켄트 벡은 맏딸이자 소프트웨어 엔지니어 출신 정치인 베스 앤드레스-벡과 마주 앉아 테스트, 책임, AI 에이전트에 대해 이야기한다.
베스는 자율주행차 소프트웨어부터 연극, 커뮤니티 조직화까지 다양한 경험을 거쳐 지금은 매사추세츠 하원의원 선거에 출마했다.
대화의 핵심 축은 "사람은 언제나 이유가 있어서 행동한다"는 것으로, 이 호기심이 팀의 숨겨진 문제를 풀어낸다.
유치원생의 "그걸 어떻게 알아?"라는 질문 일화를 통해, 답을 아는 것보다 아는 과정을 이해하는 메타 지능이 더 강력하다고 말한다.
베스가 커리어 초반 7년간 테스트를 쓰지 않은 이유는 게으름이 아니라 참고할 자료와 프레임워크가 전무했기 때문이었다.
어떤 행동을 늘리고 싶다면 먼저 그 행동을 막고 있는 실제 장벽이 무엇인지부터 물어야 한다는 원칙을 제시한다.
테스트를 잘 쓰게 만든 것은 규율이 아니라, 추론하기 쉬운 코드를 짜는 설계 능력이었다고 말한다.
매니저가 된 베스는 "우리는 테스트를 작성하는 팀이다"라고 반복해서 말하는 방식으로 팀 문화를 만들었다.
코드 리뷰에서 버그 대신 빠진 테스트를 지적하는 방식으로 전환하자, 테스트가 실제 버그를 잡는 성공 경험이 쌓이며 문화가 자리 잡았다.
테스트의 진짜 재미는 예상한 대로 통과하는 것이 아니라, 실패를 예측하고 실제로 버그를 발견하는 놀라움에 있다고 강조한다.
AI 모델에는 내분비계, 즉 스스로의 열정이나 동기가 없으며, 일을 해내는 힘은 여전히 "사람 더하기 도구"에서 나온다고 말한다.
인간을 의사결정 루프에서 빼려는 시도는 흔히 책임 회피의 다른 이름이며, 책임을 없애는 게 아니라 그 소재를 숨길 뿐이라고 지적한다.
인사평가 같은 시스템을 "객관적"이라 부르는 순간 사람들이 검증을 멈추고, 그 틈으로 편향이 밀반입된다고 경고한다.
불법 유턴한 자율주행차를 딱지 뗄 사람이 없어 놓아준 실화를 통해, 운전자가 없을 때 책임 소재가 흐려지는 문제를 짚는다.
실제로는 사람이 짠 소프트웨어가 운전하는 것이며, 그 뒤에는 조직의 인센티브, 세법, 자본, 개인 사정까지 얽혀 있다고 설명한다.
2008년 자율주행차가 "제약을 완화하라"는 규칙을 문자 그대로 해석해 인도로 올라간 사례로, 시스템은 의도가 아니라 명령한 그대로 움직인다는 교훈을 전한다.
좋은 엔지니어링을 실천한 팀도 경영진이 실제로는 작동하는 소프트웨어를 원하지 않아 해고될 수 있다는 현실을 언급한다.
베스가 진짜 두려워하는 AI 미래는 기계의 폭주가 아니라, 소수의 권력자가 협조 없이도 해악을 끼칠 수 있는 "개인 군대"를 갖게 되는 것이다.
전체적으로 이 에피소드는 기술이 아무리 발전해도 마음 씀과 책임은 결국 사람에게 남는다는 메시지로 마무리된다.

이번 에피소드는 AI가 무엇을 할 수 있는지가 아니라, 일이 끝난 뒤 사람에게 남는 책임과 배움에 관한 대화다.

이번 에피소드에서

AI와 소프트웨어에 관한 대부분의 대화는 기계가 무엇을 할 수 있는지를 놓고 다툰다. 이번 편은 우리에게 남는 것에 관한 이야기다. 그 작업이 좋은지 누가 신경 쓰는가? 일이 잘못됐을 때 누가 책임지는가? 그리고 사람들은 실제로 어떻게 어려운 일을 하는 법을 배우는가?

이번 보너스 에피소드를 위해 나는 내 맏딸 베스 앤드레스-벡(Beth Andres-Beck)과 마주 앉았다. 그녀는 한때 DARPA 그랜드 챌린지를 위한 자율주행차 소프트웨어를 작성했고, 연극 학위를 땄으며, 커뮤니티 조직화를 통해 대규모 인원을 이끄는 법을 배웠고, 지금은 매사추세츠 6선거구 하원의원 선거에 출마해 있다. 우리는 치즈 말장난으로 시작해서 진지한 곳까지 도달한다 — 왜 엔지니어들은 테스트를 작성하지 않는지, 실제로 팀이 테스트를 시작하게 만드는 방법은 무엇인지, AI 에이전트에게 스스로의 동기가 없다는 것은 무슨 의미인지, 그리고 "컴퓨터가 그렇게 했다"는 말이 왜 결코 이야기의 전부가 될 수 없는지에 대해.

베스로부터 얻은 시사점

진짜 긱(geek)의 초능력은 사람들이 왜 그렇게 행동하는지를 묻는 것이다. 베스가 지금까지 가졌던 모든 관심사 — 닭 키우기, 도로 연마, 연극, 코드 — 를 관통하는 한 가지는, 사람들은 언제나 이유가 있어서 행동한다는 것이다. 당신이 동의하지 않는 이유일 수도 있고, 아무도 깊이 생각해보지 않은 이유일 수도 있지만, 항상 무언가가 있다. 그 이유에 호기심을 가지면, 그렇지 않고서는 보이지도 않을 문제들을 풀 수 있게 된다. 이를테면 팀에서 왜 아무도 테스트를 작성하지 않는지 같은 문제 말이다.
메타 지능이 순수한 영리함을 이긴다. 그녀는 유치원 반 전체가 30까지 세는 법을 배운 이야기를 들려주었다. 한 아이가 끝까지 세고는 "서른하나"라고 말한다. 다른 아이가 묻는다. "그걸 어떻게 알아?" 첫 번째 아이는 똑똑하다. 두 번째 아이는 더 멀리, 더 빠르게 나아간다. 왜냐하면 그녀는 단지 문제를 푸는 것이 아니라, 그 풀이가 어떻게 이루어지는지를 배우고 있기 때문이다. 이 능력에는 이름이 있고, 가르칠 수 있다.
사람들은 대개 게을러서 테스트를 건너뛰는 것이 아니다. 베스는 커리어 첫 7년 동안 테스트를 작성하지 않았는데, 신경 쓰지 않아서가 아니었다. 기성 테스트 프레임워크도 없었고, 스택오버플로우도 없었고, 참고할 예제도 없었다 — 그녀는 일본어로 인쇄된 책으로 프레임워크를 배우면서, 오직 영어로 된 코드 스니펫만 보고 작업하고 있었다. 어떤 행동을 더 많이 원한다면, 먼저 실제로 그것을 막고 있는 것이 무엇인지 물어야 한다.
테스트를 걱정하기 전에 테스트 가능한 코드를 작성하는 법을 배워라. 그녀에게 마침내 테스트의 문을 열어준 것은 규율이 아니라 설계였다. 추론하기 쉬운 코드를 작성하게 되자, 테스트는 나중에 추가하기 쉬워졌다. 한 동료가 그녀가 만든 기능에 대해, 아직 테스트를 하나도 작성하지 않았는데도 구조가 아름답게 짜여 있고 테스트하기가 너무나 쉽다고 말한 적이 있다.
팀이 테스트를 하게 만들려면, 먼저 그런 척하며 이끌고 — 그다음 도파민이 일하게 하라. 처음 매니저가 되었을 때 그녀가 취한 방법은 그저 "우리는 모바일 팀이고, 우리는 테스트를 작성한다"라고 말하기 시작하는 것이었다. 테스트를 작성하지 않는 것이 팀의 일원이 아닌 것처럼 느껴질 때까지. 그 후 코드 리뷰에서는 버그를 지적하는 대신 빠진 테스트를 지적하기 시작했다. 누군가 추가한 테스트마다 실제 버그를 잡아냈고, 그 순환 고리는 어떤 설교보다도 설득력이 있었다.
테스트에서 최고의 순간은 놀라움이다. 통과할 거라 예상한 테스트가 통과하는 것은 아무것도 말해주지 않는다. 진짜 짜릿함은 실패를 예측하고, 실제로 빨간 불이 뜨는 것을 보고, 프로덕션에 결코 도달하지 않아 다행인 버그를 찾아내는 데 있다. 특히 학교를 갓 졸업한 엔지니어들에게는 테스트 하나하나가 작은 발견이 된다.
AI 에이전트에게는 내분비계가 없다. 나는 반쯤 농담으로, 어떻게 하면 모델이 테스트 작성에 흥분하게 만들 수 있을지 물었다. 베스의 대답은 그럴 수 없다는 것이었다. 모델에게는 그 자체의 열정이나 동기가 없다. 실제로 일을 해내는 것은 "우리 더하기 지니(genie)"다. 인간의 뇌는 결코 가만히 앉아만 있지 않는다. 우리가 마음 씀을 가져오기 전까지 컴퓨터는 그저 덩어리일 뿐이다. 좋은 것이 되기를 바라는 마음은 여전히 우리의 몫이다.
인간을 루프에서 빼려는 충동은 종종 책임으로부터의 도피다. 사람들이 에이전트가 당신의 약을 처방할 수 있다고 말할 때, 그들이 실제로 의미하는 바는 대개 이렇다 — 환자가 이 프로그램을 거치기만 하면 스스로 자기 약을 처방하게 될 것이고, 그 프로그램을 만든 회사는 아무 책임도 지지 않는다는 것. 인간을 제거한다고 해서 책임이 사라지는 것이 아니다. 그저 누가 그 책임을 쥐고 있는지를 숨길 뿐이다.
시스템을 "객관적"이라고 부르는 것은 편향이 숨는 방식이다. 베스가 특히 못마땅해하는 것은 "객관적인" 인사평가다. 어떤 시스템이 객관적이라고 사람들에게 말하는 순간, 그들은 그것을 면밀히 살피기를 멈추고, 그 틈으로 엄청난 편향을 밀반입할 수 있게 된다. 누군가 객관적으로 잘하는 일이라는 플라토닉한 이상 같은 것은 없다. 오직 지금 이 일이 있을 뿐이고, 당신이 실제로 필요로 하는 것을 그가 잘 해내느냐가 있을 뿐이다.
차 안에 아무도 없을 때, 누구에게 책임이 있는지 보기가 더 어려워진다.

우리는 경찰차 앞에서 불법 유턴을 한 자율주행차 이야기를 나눴다. 차는 정차 명령을 받았지만, 딱지를 뗄 사람이 없었다. "컴퓨터가 운전하고 있었다"는 것은 손쉬운 이야기다. 진짜 이야기는 이렇다 — 어떤 사람이 작성한 소프트웨어가 운전하고 있었고, 그것은 어떤 조직이 설정한 인센티브 아래, 세법과 벤처캐피털에 의해 형성되었으며, 그리고 그 엔지니어가 그날 아침 배우자와 싸웠는지 여부에 의해서도 형성된 것이다.

시스템은 당신이 말한 것을 정확히 하지, 당신이 의미한 것을 하지 않는다. 2008년 자율주행 소프트웨어를 작성할 때, 그녀의 팀은 차에 이런 규칙을 주었다 — 막히면, 스스로를 풀어줄 때까지 제약을 완화하라. 차는 도로 장애물에 부딪혔고, 한참 생각한 끝에 "인도 위를 달리지 말 것"이라는 제약을 완화했다 — 그래서 인도 위로 올라가 그 주위를 돌아서 갔다. 그녀가 정확히 말한 그대로였다. 그녀가 원했던 것과는 전혀 달랐다. 오늘날 에이전트와 함께 일하는 사람이라면 누구나 아는 그 느낌이다.
좋은 엔지니어링이 당신을 해고당하게 만들 수 있고, 진짜 AI에 대한 두려움은 폭주하는 기계가 아니다. 베스는 팀들이 모든 것을 제대로 해내는 것을 보아왔다 — 리팩터링하고, 테스트하고, 통합하고, 협업하고, 진짜로 좋은 소프트웨어를 출시했는데도, 결국 잘려나가는 것을. 왜냐하면 경영진이 실제로 원했던 것은 작동하는 소프트웨어가 아니었기 때문이다. 그리고 무엇이 밤잠을 설치게 만드느냐고 물었을 때, 그것은 기계가 제멋대로 구는 것이 아니었다. 그것은 기계가 소수의 힘 있는 사람들이 시키는 것을 정확히 해내는 것이었다 — 더 이상 다른 누구의 협조도 필요 없이 큰 해악을 끼칠 수 있는 "개인 군대" 말이다.

참고 자료

베스 앤드레스-벡을 찾을 수 있는 곳:

캠페인: https://bethfordemocracy.com
Bluesky: @beth4ma.bsky.social
Instagram: @beth4MA
Ballotpedia: https://ballotpedia.org/Beth_Andres-Beck

타임스탬프

00:00 — 인트로: 아주 특별한 에피소드
02:13 — 언제 처음 자신이 긱이라는 걸 알았나
03:02 — 컴퓨터 긱덤: Widget Workshop
03:45 — 모두가 긱은 아니라는 걸 깨닫고, 사람을 읽는 법을 배우기
06:22 — 다면적인 긱: 연극 학위
07:26 — 닭 키우기 시기
08:54 — 호기심을 따라가기: 사람들은 이유가 있어 행동한다
10:26 — 사람들이 테스트를 작성하지 않는 이유
13:33 — 테스트 가능한 코드를 먼저 작성하는 법 배우기
14:19 — 팀이 테스트하게 만들기: "우리는 테스트를 작성한다"
16:31 — 지니를 흥분시키기: 내분비계
17:43 — 인간을 루프에서 빼는 것과 책임
19:23 — "객관적" 시스템의 문제
20:59 — 차 안에 아무도 없다: 책임 소재
22:43 — 인도 위를 달린 자율주행차
23:54 — 누군가 작성한 소프트웨어와 그 인센티브
25:09 — 굿 플레이스: 복잡한 시스템 안에서의 결정
26:45 — 규정대로 일하기, 그리고 숲과 사막
29:01 — 훌륭한 소프트웨어를 출시하고 해고당하기
29:36 — 에이전트가 매니저에게 통제감을 주는 이유
30:47 — 정치에서 긱을 깨운 것
32:13 — 오큐파이 운동과 조직화의 물류
33:51 — 길드들의 길드
36:51 — "그걸 어떻게 알아?" — 메타 지능
38:55 — 실패란 그저 막고 있는 것을 찾아내는 일이다
39:13 — 무엇이 밤잠을 설치게 하는가