웹진 《비유》
  이면의 장면들

Proxy [명사]
1. (특히 투표에서) 다른 누군가를 대의할 수 있는 권한
　　a. 다른 누군가를 대신하도록 권한을 부여받은 개인 (…)
2. 계산에서 어떤 것의 값을 대신해 사용할 수 있는 수치 (OED n. Proxy)

올해 들어 AI 비디오 업계의 ‘판도가 바뀐’ 적이 몇 번이나 되는지 모르겠다. 이미지를 범람시키는 혁신과 수익의 파이프라인들을 바라보고 있자니 수만 마리의 병아리를 눈앞에 둔 병아리감별사가 된 심정이다. 테크브로들은 근미래에 AI가 할리우드를 대체할 것이라고 호언장담하지만, 이미 우리는 할리우드 SF의 열화판에 들어온 것마냥 매일 즉석 튜링 테스트에 임하고 있다.
　　정말로 AI가 쏟아낸 고만고만한 콘텐츠들은 예술과 진정성, 재현과 대의에 관한 우리의 감각을 영영 바꾸게 될까? AI가 주도하는 광풍을 따라가기도 벅찬 입장으로서 이 모든 질문에 즉답하기란 쉽지 않다. 하지만 한때 피드에 떠돌던 한 할리우드 스타의 밈을 발판으로 삼아, AI 슬롭이 어떤 사회기술적 시스템의 결과물인지에 대해서는 이야기해볼 수 있을 것 같다. 이 글은 ‘프록시(Proxy)’라는 키워드를 통해 슬롭으로부터 AI의 작동논리를 증류해내려는 시도다.


1.

텍스트 투 비디오(Text-to-Video) 모델의 가능성이 점쳐지기 시작하던 2023년 6월, 레딧(Reddit)에서는 ‘Will Smith eating spaghetti’(스파게티를 먹는 윌 스미스)라는 게시물이 입소문을 탔다¹⁾ GIF 속 찰흙 덩어리 같은 형상을 흐린 눈을 하고 바라본다면 언뜻 익숙한 얼굴이 떠오르는 듯도 하다. 하지만 면발과 입술, 포크와 손이 기이하게 어우러지는 모습은 실소를 자아낸다.


만약 생성된 이미지가 이것 하나로 끝났다면 ‘스파게티를 먹는 윌 스미스’는 인터넷의 수많은 뻘글 중 하나로 남았을 것이다. 그러나 이 밈의 수명은 AI 기업들이 이를 일종의 도전으로 받아들이면서 연장되었다. 비디오 생성 모델이 출시될 때마다 윌 스미스의 형상은 점차 정교해졌다. 다음 해 그는 면과 포크를 동시에 씹지 않았고 포크를 만난 면발은 더는 뭉치지 않고 한올 한올 갈라졌다. 2026년 2월에 출시된 시댄스 2.0(Seedance 2.0)에 동일한 프롬프트를 입력한다면 당신은 바스트숏과 클로즈업, 스파게티를 맛본 윌 스미스의 감탄하는 육성으로 이루어진 간단한 시퀀스를 얻을 수 있다. 생성형 AI의 우둔함을 비웃기 위해 유통되던 윌 스미스 밈은 어느덧 AI 모델의 성능을 판가름하는 비공식적 벤치마크가 되었다.²⁾ 이 영상들은 윌 스미스의 분신을 가장하는 한편, 모여서 시계열을 이루었을 때 비디오 생성 기술의 기하급수적 발전과 더불어 그것이 할리우드를 대신할 수 있으리라는 낙관을 동시에 표현하는 지표로 기능하고 있었다.
　　딜런 멀빈(Dylan Mulvin)은 지식생산의 과정에서 프록시를 외부세계를 대표할 수 있으리라 가정된 사람과 사물, 규격과 수학적 값 일체로 정의한다.³⁾ 이는 임상환자나 자동차의 충돌 실험용 더미처럼 실제 세계의 복잡성을 평균적이고 표준적인 범례로 표현하는 작업이 될 수도 있고, 윌 스미스의 사례처럼 비전문가도 기술의 작동 양상을 직관적으로 파악할 수 있게 해주는 벤치마크나 데이터 표본이 될 수도 있다.
　　프록시는 외부세계의 복잡성을 예측가능한 범주로 표현한다는 점에서 객관과 표준의 권위를 부여받지만 그것의 실행은 결코 가치중립적인 견지에서 실행되지 않는다. 예를 들어 임상환자와 충돌 실험용 더미는 인간 신체의 다양성을 예측 가능한 평균으로 치환한다는 점에서 아돌프 케틀레(Adolphe Quetelet)가 고안한 평균인(Average Man)의 이념과 친연성을 보인다. 측정된 외부세계를 평균과 표준으로 축소하는 과정은 세계의 규범적이고 바람직한 상태에 대한 가치판단을 내재하기에 결코 사회정치적 실천으로부터 유리될 수 없다. 거기에 더하여 프록시는 이를 설정하는 집단의 문화적 편향과 불평등을 규준으로 영속화하기도 한다. 컴퓨터 시각(Computer Vision) 연구의 비공식적 벤치마크라는 맥락에서 윌 스미스의 직계 조상이라 할만한 레나(Lenna)의 사진은 남성 호모소셜의 문화적 편향이 지식생산의 표준으로 기능했던 선례를 보여준다. 1973년, 이미지의 디지털 압축 포맷을 개발한 USC의 연구자들은 컨퍼런스에서 기술을 시연할 대상을 물색하던 중 플레이보이에 실린 레나 포르센(Lena Forsén)의 누드 화보를 발견하고 이를 512×512 픽셀의 정방형으로 잘라 스캔했다. 이 사진은 인터넷의 전신인 아르파넷(ARPANET)에 업로드된 최초의 JPEG 사진 중 하나가 되었고, 이후 50년에 가까운 세월 동안 컴퓨터 시각 학계에서 테스트용 이미지로 사용되었다. 이러한 관행에 대한 조치가 이뤄지기까지는 학계 안팎에서의 지난한 자성과 개입이 있어야만 했다.⁴⁾
　　어쩌면 이로부터 윌 스미스가 AI 영상의 화신으로 선택된 과정에도 일정한 문화적 편향이 있으리라 가정할 수도 있겠다. 오스카 시상식에서 크리스 록의 따귀를 때린 후 윌 스미스의 대중 페르소나는 바닥을 치고 있었고, 생성형 AI 관련 서브레딧에서 아직 시효가 만료되지 않은 밈이었던 그의 얼굴은 캘리포니아의 공학도에게 플레이보이 모델이 그러했던 것만큼이나 손에 쉽게 잡히는 실험체였을지도 모른다. 딥페이크(Deepfake)라는 명칭이 포르노그래피에 여성 스타의 얼굴을 합성한 불법영상을 공유했던 한 레딧 유저의 닉네임으로부터 기원했음을 생각해보자.


2.

그러나 취약한 개인의 얼굴과 생성형 AI 사이의 친연성은 유독한 사용자 문화만으로 설명될 수 없다. 그보다는 통계학적 렌더링(Statistical Rendering)으로서 생성형 AI가 프록시의 양산을 작동 논리로 내장하고 있다는 사실에 주목할 필요가 있다.
　　생성형 AI 모델을 사용하다 보면 동일한 프롬프트를 입력해도 결과물에서 머리카락과 옷깃의 세부가 달리 출력되는 경우가 있다. 이는 AI 모델이 원본에 해당하는 데이터셋을 반영적으로 모방하지 않고 그것의 근사치만을 내놓기 때문이다. 대상을 판별하고 생성하는 기계학습 모델은 전처리된 이미지-텍스트 묶음의 데이터셋이나 인터넷의 공유지에서 크롤링한 빅데이터를 ‘학습’의 자원으로 삼는데 이는 여러 단계에서의 판별과 범주화를 동반한다.
　　윌 스미스를 예시로 들자면, 먼저 그의 사진과 영상으로부터 피부색, 얼굴형, 이목구비와 같은 특징들이 추출되어 컴퓨터가 이해할 수 있는 숫자들의 행렬, 즉 벡터(Vector)로 전환될 것이다. 한편 이 시각적 데이터에 윌 스미스라는 단어를 연결하기 위한 작업이 요구된다. 데이터셋에 하청 노동자가 부착한 ‘윌 스미스, 흑인, 남성, 영화배우’ 등의 태그를 활용할 수도 있고, 함께 크롤링한 웹상의 메타데이터를 참조하거나, 기계학습 모델이 직접 대상 이미지를 판별하여 일정한 분류를 만들 수도 있다.
　　이렇게 윌 스미스에게 부여된 데이터의 행렬들은 n차원 공간에서의 특정한 구역에서 군집을 이룬다. 그러나 잠재공간에서 벡터들의 군집은 인간이 이해할 수 있는 어떠한 의미론적 무게도 인과관계도 갖지 않는다. 다만 이는 컴퓨터가 계산할 수 있는 확률분포의 패턴일 뿐이며, 이 안에서 특정 벡터들이 보이는 근접성은 그것의 통계학적 빈도만을 가리킬 뿐이다. 예를 들어 ‘윌 스미스’는 이미지와 언어의 유통망 아래서 상관관계가 있으리라 추정되는 토큰들, 이를테면 ‘흑인, 남성, 배우, 프레시 프린스……’들의 집합이다. 잠재공간에서 그에 대응하는 확률분포의 구름이 만드는 경계는 불분명하며, ‘윌 스미스’라는 프롬프트를 입력했을 때도 생성형 AI는 이 군집과 유사한 시각적 패턴이 나타날 때까지 노이즈를 정제할 뿐이다.
　　사진의 아카이브에서 얼굴을 측정 가능한 평균분포의 패턴으로 환원하고자 하는 컴퓨터 시각의 방법론은 초상사진의 중첩을 통해 케틀레의 평균인을 사진으로 구현하고자 했던 프랜시스 골턴(Francis Galton)의 합성사진(Composite Photography)과 극적인 계보를 이룬다.⁵⁾ 범죄자와 광인 등 문제적 인구집단의 평균적 얼굴을 집단의 내적 본성과 연관 짓고자 한 골턴의 전망이 그러했던 것처럼, 현용 AI의 근간을 이루는 통계학적 데이터 처리는 특정 집단을 향한 사회의 편향적 인식을 고착화할 수 있기에 문제적이다. 웬디 희경 전(Wendy Hui Kyong Chun)은 인과를 상관관계와 확률로 치환시키는 빅데이터의 사회기술적 응용이 불평등의 역사적 조건과 인식론적 전제를 고려하지 않는다고 지적한다. 인과를 대신하는 상관관계의 수학적 표현으로서 대리체(Proxy)는 차별의 결과들을 주어진 것으로 현상시킴으로써 불평등의 알리바이가 된다.⁶⁾
　　다시 한번 가장 처음 만들어진 윌 스미스의 GIF로 돌아가보자. 그의 얼굴 위에서 울렁거리는 ‘SHUTTERSTOCK’이라는 글자를 확인할 수 있다. 아마도 당시의 AI 모델은 별도의 결제 없이 셔터스톡으로부터 윌 스미스와 스파게티, 식사와 연결된 이미지를 긁어왔고, 그 과정에서 학습한 데이터셋과 생성된 영상 모두에 워터마크가 섞여 들어갔을 것이다. ‘SHUTTERSTOCK’의 형상으로 수렴하는 이 얼룩을 ‘가비지 인, 가비지 아웃’의 원칙을 새삼 증명하는 데이터셋의 오염이나 필터링의 부재로 바라볼 수도 있을 것이다. 그러나 이 얼룩은 인간 관찰자로 하여금 AI 슬롭의 존재양식을 가늠하게 하는 잠상이기도 하다. 컴퓨터 시각에서 이 낙인들은 이미지의 지시체와 구분되는 외부 혹은 경계면에 위치하지 않으며, 그렇다고 골턴의 합성사진처럼 아카이브의 원본들을 광학적으로 반영한 결과도 아니다. 그러나 이는 분명 ‘스파게티를 먹는 윌 스미스’라는 연결망의 일부를 이루고 있다. AI가 생성하는 콘텐츠들은 아카이브의 재고(Stock)들을 갈아서 빚어낸 프록시이며, 이미지이기 이전에 그것의 메타데이터가 이루는 네트워크로 먼저 식별된다.
　　히토 슈타이얼(Hito Steyerl)이 ‘평균 이미지’(Mean Images)라는 용어로 정식화했듯, AI 시대의 이미지 생산과 유통은 웹으로부터 긁어모은 이미지들의 평균(mean)인 동시에 특정 대상을 향한 사회 일반의 대중주의적 인식과 편견을 확대 재생산한다는 점에서 비열하거나 범상한 것(mean)이기도 하다.⁷⁾ 소셜미디어와 스톡 이미지 사이트 등의 플랫폼에서 용이하게 유통될 수 있는 미학적 규준과 개연성을 담지한 이미지들은 저렴한 생산비용과 편리함을 발판삼아 유례없는 강도의 시각적 피드백 루프를 이루기 시작했다.
　　만약 이 루프 속에서 스타의 얼굴들이 강렬한 가시성을 지닐 수 있다면 그 이유는 그들이 기거하는 할리우드가 이미 플랫폼화된 재현의 루프에 갇혀 있었기 때문일 것이다. AI 슬롭에 관한 최근의 기고에서 다그 외빈 마드센(Dag Øivind Madsen)과 리처드 푸트(Richard W. Puyt)는 생성형 AI가 도래하기 전부터 시네마틱 유니버스와 리부트, 시퀄을 남발하던 할리우드의 슬롭에 대해 다음과 같이 한탄한다. “디즈니는 자사의 만화영화를 “라이브 액션”으로 재탕한답시고 〈라이온 킹〉 〈인어공주〉 〈알라딘〉, 그리고 곧 〈모아나〉까지 똑같은 디지털 고기 분쇄기에 집어넣고 있다. (…) 이는 영화의 옷으로 치장한 플랫폼 자본주의다.”⁸⁾ 사물들 사이의 인과와 필연도 부재한 잠재공간 안에서 단 한 단어의 프롬프트로도 표현될 수 있는 대중문화의 아이콘들은 몇 번이고 재탕 가능한 신화소가 된다.


3.

2025년 9월, (실제) 윌 스미스는 또 다른 AI 구설수에 휘말렸다. 그가 유튜브에 업로드한 투어 공연 하이라이트 영상에서 열광하는 관객들을 담은 장면들이 AI로 생성된 것이라는 의혹이 제기되었기 때문이다. 매끈하게 뭉개진 관객들의 손가락과 플래카드의 손글씨들은 AI 슬롭의 시각적 특질을 고스란히 보여주고 있었기에 인기가 한풀 꺾인 그가 가짜 팬들을 양산했다는 혐의가 제기되기에 충분했다. 소셜미디어와 언론은 그를 향한 조롱을 거세게 쏟아냈는데, 가장 큰 조롱거리 중 하나는 영상 속 부부로 보이는 관객이 손에 든 플래카드였다. 울먹이는 표정의 부부가 든 플래카드에는 ‘윌 스미스 덕분에 암을 이겨낼 수 있었다’는 문장이 적혀있었다.
　　상황은 부부가 찍힌 다른 사진이 공개되며 반전되었다. 그들은 실존했으며 언론과의 인터뷰에서 자신들의 사연이 AI가 만들어낸 가짜로 오인되어 유감스럽다고 밝히기도 했다. 그렇다면 윌 스미스의 영상에서 열광하는 관중들은 왜 그렇게 ‘슬롭’처럼 보였을까? 전문가들은 윌 스미스의 PR팀이 그럴듯한 장면을 만들기 위해 이미지-투-비디오(Image-to-Video) 모델을 사용해 관중석의 사진을 움직이게 만드는 과정에서 모델이 환각을 일으켰다고 추정했다. 그리고 그즈음 유튜브 플랫폼이 이용자의 동의 없이 쇼츠에 일괄적으로 적용시킨 기계학습 기반 화질 개선 시스템 또한 관중의 이미지를 평탄하게 만든 용의자로 지목되었다.⁹⁾
　　이 작은 소동은 플랫폼에 의해 조율된 시각성 아래서 군중에 참여하는 개인들의 존재론적 지위가 변화하는 양상을 은유한다. 여기서 군중은 전통적인 의미에서 실존한다고 말할 수 있을까? 물론 원본과의 대조를 통해 우리는 특정 인물들의 실존을 ‘팩트체크’할 수 있겠지만, 적어도 플랫폼에서 우리가 마주한 이미지들은 그 실존의 통계적 근사치만을 표현하고 있으며 지표적 증거로도 기능하지 않는다. 때때로 손가락을 몇 개 더 갖고 있거나 인간이 알아볼 수 없는 얼룩이 쓰인 플래카드를 들고 있는 사람들은 더 보기 좋게 개선된 관중들의 프록시다. 그들의 벡터 몸체는 미디어 소비자와 플랫폼의 알고리즘적 보정이 상호작용하는 피드백 루프 아래서 더 나은 가시성을 얻기 위해 지속적으로 정향되고 있다.
　　이러한 루프 아래서 윌 스미스에 열광하던 개인들의 실존 여부는 그렇게 중요치 않아 보인다. 그레고리 샤톤스키(Gregory Chatonsky)가 지적하듯 포스트-진실은 진실의 부재가 아니라 서로 양립할 수 있는 정보의 흐름 속에 진실이 묻혀버린 상태를 뜻하며, 벡터화된 공간들 속에서 진실 자체는 알고리즘적 최적화의 수많은 매개변수 중 하나일 따름이다. 이와 같은 논리로 트럼프는 2024년 대선 캠페인 당시 카멀라 해리스 부통령을 보기 위해 운집한 인파들이 AI로 생성된 가짜라고 폄하하기도 했다.¹⁰⁾ 물리적 밀도를 가진 신체들이 하나의 공간에 모여 구성하는 대중은 통계적 유사성을 지닌 벡터들의 군집으로 대체되고 있으며, 그 사이의 다공성에 개입하는 것은 AI를 활용한 전략폭격기의 표적 산출이나 이주노동자의 인종 프로파일링 등 자동화된 주권적 폭력이다. 이렇게 사회의 기본요소로서 벡터들의 배치를 정렬하는 오늘날의 기술-정치 복합체는 새로운 파시즘의 형태를 예고한다.¹¹⁾
　　벡터파시즘(Vectofascism)의 미학은 가장 파괴적인 형태로 웹을 떠돌며 현실인식의 패러다임을 뒤바꾼다. 노이즈로부터 가능한 모든 단어의 조합을 시각화할 수 있는 생성형 AI의 역량은 확정적인 토대와 진리를 얻는 것이 불가능하다는 허무주의를 확증한다. 도널드 트럼프는 예수가 된 자신의 이미지를 소셜미디어에 게시해 분노를 자아냈지만, 슬롭의 세계인식에서 트럼프는 확률적으로 예수이기도 하다.


4.

현실 세계의 평균적 인식을 대리하는 동시에 그것의 범속하고 치명적인 상관물을 재생산하는 생성형 AI는 개입이 시급한 블랙박스처럼 보인다. 그러나 그 자체로 단일한 테스트 규격에 그쳤던 레나 이미지의 선례와 달리, 여러 겹에 걸친 사회기술적 시스템으로서 생성형 AI의 피드백 루프는 그것의 외부에서 데이터셋이나 벤치마크의 형평성과 투명성을 고려하는 것만으로는 규제될 수 없다. 원하건 원치 않건 슬롭의 감상자이자 질료로 살아가게 될 우리는 컴퓨터 시각이 추동하는 피드백 루프의 내부에서 다른 재현과 미래의 양식을 상상해야만 한다.
　　마드센과 푸트의 은유에서처럼 슬롭은 흔히 잡다한 고기로부터 빚어낸 정체불명의 경단이나 음식물 찌꺼기의 물성으로 상상된다. 그러한 맥락에서 바라볼 때 슬롭은 생성형 AI 이전의 인터넷 공간에서 유통되던 스팸 이미지의 저열한 존재양식을 일정 부분 계승한다. 매끄럽게 마감 처리된 윌 스미스의 팬들이 부재하는 관중의 싸구려 대역으로 오해되었던 것처럼, 이미지스팸(Imagespam)으로서 슬롭은 정치적 대의와 문화적 재현으로도 완전히 포획될 수 없는 민중들의 음화로 기능한다.¹²⁾
　　지금 이 순간에도 수집되고 있는 모든 이미지의 평균으로서 슬롭은 통계적 집합으로서 민중을 대리하지만 그것은 민중들의 모든 개별성을 이미지의 잠상으로 밀어넣었을 때에야 가능한 것이다. 수치화된 개별적 심급들의 단독성이 이미지를 현상시키는 잠재공간의 내부에서 여전히 존재한다고 가정할 때, 이들이 평균분포의 바깥으로부터 예기치 못한 외삽의 결과로서 스스로를 드러낼 수 있을까? 슬롭이 만들어내는 온갖 외설과 기이함으로부터 어떤 형상을 찾아내는 것도 무리는 아니겠지만, 일단은 윌 스미스에게 붙은 얼룩을 바라보는 것으로부터 시작하면 어떨까 싶다. 그에게 붙은 셔터스톡의 얼룩이 스스로의 존재조건을 드러냈던 것처럼, 문화적 아카이브의 재고가 된 우리에게 붙은 문서분류표를 유심히 들여다보자. 어쩌면 이 라벨링은 허락되지 않은 잉여를 공적인 것의 아카이브에 밀어넣게 해주는 암표일지도 모른다.