측정값이 거짓말을 한다는 감각에 대하여

측정값을 믿지 않는 쪽이 더 정확합니다.

거칠게 적힌 문장이고, 그래서 그대로 적어둡니다. 거칠게 적어두지 않으면 매주 GA4 를 열 때 측정값에 끌려가는 감각이 자라납니다. Search Console 의 클릭 수도, Plausible 의 visits 도 마찬가지였습니다. 거짓말이라기보다 자기 정의 안에서 정확한 숫자를 다르게 표시하는데, 그 차이가 의사결정자에게는 거짓말처럼 느껴집니다.

같은 사이트의 어느 하루를 세 도구로 동시에 본 적이 있습니다.

GA4 는 그 날 users 가 1,200 이라고 적었습니다. Search Console 은 같은 날 검색 결과에서 clicks 가 340 이었다고 적었습니다. Plausible 은 visitors 가 880 이라고 적었습니다. 세 숫자가 다 다릅니다. 어떤 한 숫자가 옳고 다른 둘이 틀린 게 아닙니다. 셋이 측정하는 대상이 서로 다른 것뿐입니다.

GA4 의 users 는 같은 브라우저에서 들어온 사람을 하루 안에서 한 번으로 묶습니다. 모바일에서 한 번, 데스크탑에서 한 번 들어온 한 사람은 2 users 입니다. Search Console 의 clicks 는 검색 결과에서 사이트 링크를 클릭한 횟수이고, 같은 사람이 두 번 검색해서 두 번 들어오면 2 clicks 입니다. Plausible 의 visitors 는 봇 제외 정책이 GA4 보다 공격적인 쪽에 있습니다.

같은 단어가 도구마다 다른 일을 가리킵니다. 사용자라는 단어 하나가 세 도구에서 셋 다 다른 뜻으로 쓰입니다. 방문도 마찬가지이고, 세션은 도구마다 정의가 가장 크게 갈리는 단어입니다. 단어가 같아 보이니까 비교가 되는 것 같은데, 비교 자체가 잘못된 작업이 됩니다.

이걸 깨달은 시점에 잠시 멈춰서 무엇을 할지 정해야 했습니다.

한 도구의 정의를 portfolio 전체에 표준으로 박을지, 아니면 도구마다 다른 정의를 그대로 두고 의사결정자가 매번 변환해서 읽을지. 표준화하는 쪽이 깔끔해 보였습니다. 다만 표준화는 가장 비용이 큰 작업입니다. 도구마다 다른 단위를 같은 단위로 환산하는 함수가 필요하고, 그 함수의 정확도 자체가 새로운 측정 오차의 출처가 됩니다.

다른 쪽을 골랐습니다. 도구의 정의를 그대로 두고, 의사결정자가 그 정의를 매번 의식하는 쪽입니다. GA4 의 숫자를 볼 때는 GA4 의 정의로 보고, Search Console 을 볼 때는 그쪽 정의로 봅니다. 한 도구의 숫자가 다른 도구의 숫자보다 두 배여도 그게 정상입니다. 두 숫자를 같은 자리에 놓고 비교하지 않는 습관 쪽에 무게를 두기로 했습니다.

이 결정이 작아 보이는데, 결과적으로는 의사결정의 결을 크게 바꾸었습니다.

이전에는 어떤 사이트의 GA4 users 가 줄어들면 그것을 사이트가 약해진 신호로 받아들였습니다. 같은 시기에 Search Console clicks 는 늘고 있었어도 GA4 의 그래프 모양에 끌려갔습니다. GA4 가 먼저 열리는 도구였고, 그 도구가 보여주는 곡선이 가장 먼저 시야에 들어왔기 때문입니다.

지금은 한 도구의 곡선을 보고 결정을 내리지 않으려 합니다. 세 도구를 한 번에 띄워두고, 각각의 단위를 의식하면서 같은 사이트의 같은 주를 봅니다. GA4 users 가 줄어드는데 Search Console clicks 가 늘고 있으면, 그건 같은 사이트로 들어오는 트래픽의 구성이 바뀐 것이지 사이트가 약해진 것이 아닙니다. 직접 유입이 줄고 검색 유입이 늘었다는 뜻일 수 있고, 그건 portfolio 의 SEO v2 전략에 잘 맞는 변화입니다. 단일 도구만 봤다면 같은 변화가 손해처럼 읽혔을 겁니다.

봇 사건 이후로 도구의 raw 숫자 자체를 한 단계 의심하는 습관이 박혔습니다. 봇 사건은 GA4 의 정의가 흔들렸던 게 아니라, 그 정의 안에 들어가는 트래픽 중 일부가 사람이 아니었다는 사건이었습니다. 그 간격을 매번 의식하지 않으면, 도구의 숫자가 머리 안에서 사람의 행동으로 자동 번역됩니다. 자동 번역이 일어나는 순간 측정값이 거짓말을 하기 시작합니다.

여기서 한 박자를 두고 이 단언을 흔들어봅니다.

측정값을 믿지 않는 쪽이 정확하다는 명제는, 측정값을 안 보고 결정을 내리라는 말이 아닙니다. 도구의 정의와 그 정의가 가리키는 현실의 간격을 매번 의식하는 한에서만 그 측정값이 의사결정의 입력이 될 수 있다는 뜻입니다. 매번 의식하라는 권고는 매번 지켜지지 않습니다. 매일 GA4 를 열면서 그 정의를 매번 의식하지는 못합니다. 의식하지 못한 채로 본 숫자가 머릿속에 남고, 그 숫자가 다음 주의 결정에 영향을 줍니다.

이 한계를 인정하면, 측정값에 대한 태도는 두 갈래가 됩니다. 매번 의식하는 게 가능한 결정에는 측정값을 쓰고, 일상 관찰에는 곡선의 모양 변화 정도만 메모해두고 그 해석은 결정의 순간으로 미루는 흐름입니다. 결정의 순간에는 세 도구를 함께 띄우고 각 도구의 정의를 한 번 더 적어둡니다.

이 글의 결론을 단언하지 않으려 합니다. 측정값을 믿지 않는다는 명제는 단단해 보이지만, 안 믿으면서 어떻게 결정을 내리는가 라는 질문에는 아직 안 닿았습니다.