실험이 끝난 뒤 성공 기준을 바꾸면 어떤 결과도 좋은 신호처럼 해석할 수 있습니다. 시작 전에 기대, 실패, 중단 조건을 함께 적어야 결과가 다음 결정을 바꿉니다.
작은 실험은 규모가 작다는 뜻만이 아닙니다. 한 번에 하나의 중요한 불확실성을 확인하고, 제한된 시간과 위험 안에서 관찰 가능한 행동을 얻는 과정입니다.
좋아요나 긍정적인 의견처럼 해석이 쉬운 신호보다 실제 선택, 반복 사용, 시간이나 비용을 지불한 행동을 우선합니다. 숫자가 적을 때는 결론을 일반화하지 않고 다음 질문의 방향을 정하는 근거로 사용합니다.
아이디어가 아니라 깨지기 쉬운 가정을 고릅니다
‘이 기능을 좋아할 것이다’보다 ‘처음 온 사용자가 설명 없이 핵심 작업을 완료할 수 있다’처럼 틀렸음을 확인할 수 있는 문장으로 바꿉니다. 여러 가정 중 틀렸을 때 계획 전체를 가장 크게 바꾸는 것을 먼저 고릅니다.
가정에는 대상과 장면이 있어야 합니다. 서로 다른 사용자를 한데 묶으면 누가 왜 반응했는지 알 수 없어 다음 행동도 흐려집니다.
바로 써보기가정: 첫 방문한 1인 운영자가 예시를 본 뒤 자신의 입력으로 결과물 하나를 완성할 수 있다.
말보다 행동에 가까운 증거를 정합니다
‘쓸 것 같다’는 답은 호감의 신호일 수 있지만 사용의 증거는 아닙니다. 시간을 내어 설정하기, 실제 자료를 넣기, 다시 방문하기, 동료에게 공유하기처럼 비용이 든 행동을 관찰하세요.
행동만으로 이유를 단정하지 않습니다. 완료하지 못한 사람에게 막힌 지점과 사용한 대안을 물어 수치와 맥락을 함께 기록합니다.
성공·실패·불충분 세 구간으로 판정합니다
성공 기준만 두면 애매한 결과를 억지로 해석하게 됩니다. 기대 행동이 충분히 나타난 구간, 가정을 수정해야 하는 구간, 표본이나 실행 품질이 부족해 다시 시험해야 하는 구간을 미리 정합니다.
기준은 실험 대상과 위험에 맞게 정해야 하며 보편적인 숫자는 없습니다. 중요한 것은 결과를 보기 전 수치와 판정 이유를 기록하고, 끝난 뒤 편리하게 바꾸지 않는 것입니다.
바로 써보기판정표에 결과 구간뿐 아니라 각 구간에서 취할 다음 행동까지 미리 연결합니다.
핵심 지표 옆에 안전 지표를 둡니다
전환이 늘어도 취소·오류·불만이 함께 늘면 좋은 실험이라고 보기 어렵습니다. 원하는 행동을 나타내는 핵심 지표 하나와, 그 행동을 만들며 해치면 안 되는 안전 지표를 함께 봅니다.
안전 지표가 한계를 넘으면 성공 신호가 보여도 실험을 중단합니다. 특히 개인정보, 금전, 접근 권한이 관련된 실험은 숫자보다 먼저 중단 절차와 복구 담당자를 정해야 합니다.
결과 보고서는 다음 결정 한 문장으로 끝냅니다
무엇을 했고 숫자가 어땠는지만 적지 말고 가정을 유지할지, 바꿀지, 버릴지 결정합니다. 예상과 다른 결과, 실행 중 생긴 오염 요인, 아직 모르는 것도 함께 남깁니다.
후속 실험은 같은 질문을 더 크게 반복하는 것이 아니라 이번에 가장 크게 남은 불확실성을 겨냥해야 합니다. 배운 것이 다음 실험의 설계를 바꾸지 않았다면 실험은 활동으로 끝난 것입니다.
SAVE & CHECK
이번 주 실행 체크리스트
- 틀렸을 때 계획을 바꿀 핵심 가정을 한 문장으로 정했다.
- 대상과 사용 장면이 구체적으로 정의되어 있다.
- 의견보다 실제 선택과 비용이 든 행동을 관찰한다.
- 성공·실패·불충분 구간과 다음 행동을 미리 적었다.
- 핵심 지표와 함께 해치면 안 되는 안전 지표가 있다.
- 중단 조건과 원상 복구 담당자를 정했다.
- 결과를 가정 유지·수정·폐기 중 하나의 결정으로 닫았다.
실험의 가치는 좋은 숫자를 얻는 데 있지 않고, 다음 결정을 이전과 다르게 만드는 데 있습니다.
오늘의 한 가지실험의 가치는 좋은 숫자를 얻는 데 있지 않고, 다음 결정을 이전과 다르게 만드는 데 있습니다.기억하고 싶은 문장을 남겨두고, 아래에서 당신의 생각도 들려주세요.
댓글
0아직 댓글이 없습니다. 콘텐츠에서 떠오른 생각을 나눠보세요.