직감에서 계획까지 : '신중한 실행 프레임워크'

본능은 창작 과정의 중요한 보조 도구이다. 하지만 그것만으로는 전략적인 결정에 이를 수 없으며, 하나의 가설에 여러가지 해답을 탐색할 때 방해가 되어서는 안된다. Annina Koskinen은 스포티파이의 성장 기회를 고민하는 팀이 목표를 도달하고 임팩트있게 추진하는데 쓰는 '신중한 실행 프레임워크'를 소개한다. 이는 해결 가능한 문제나 기회들을 명확히 가려내기 위한 데이터와 인사이트 활용 방법을 제시하며, 해결책을 도출하기 전 폭넓은 가설 설정과 디자인 실험 단계를 거치는 것을 권장한다. 수년에 걸친 명상과 마음 단련 수련회를 참석하며 깨달은 것이 있다면 우리의 마음을 맹목적으로 신뢰하면 안된다는 것이다. 우리의 마음은 그저 주관적인 감정과 경험으로 왜곡된 현실을 묘사할 뿐이기 때문이다. 이러한 마음 상태는 출근해서 환경을 회사로 바꾼다고 사라지지 않는다. 우리의 의견과 결정은 늘 어느 정도는 본능을 기반으로 한다. 이게 잘못 됐다는 말이 아니다. 서로 다른 관점과 경험이 모여 타당한 해결책을 끌어내는 것이 다양성의 장점이다. 다만 전략적인 비즈니스 결정을 내릴 때 만큼은 우리의 주관성에 대해 더더욱 인지를 하고 있어야 한다는 말이다. 약 5년 전 스포티파이에서 프로덕트/테크 리드와 새로운 조직을 꾸리면서 이 문제에 대해 더 깊이 생각해보기 시작했다. 그 결과, 조직을 성공으로 이끄는 방법은 세 가지였다. 첫째, 조직 내 모든 팀이 통찰력과 회사 전략에 기반한 뚜렷한 목표 설정을 할 수 있어야 했다. 둘째, 목표를 측정함으로써 우리의 업무가 비즈니스에 끼친 영향력을 추적하려 노력했다. 마지막으로, 팀이 목표를 달성할 때 충분한 고민을 거친 계획이 있는 지를 확인하고 싶었는데, 개선의 여지는 여기서 발견되었다. 자주 발생하고 있는 문제는 아래와 같았다. 목표당 한개의 아이디어 조직은 비즈니스 목표가 세워지면 그것을 빨리 달성하려고 아이디에이션을 시작하고, 종종 특정 아이디어에 들떠 얼른 프로토타입을 만들고 A/B 테스트까지 실행해 효과가 기대에 미치는지 확인하고 싶어한다. 하지만 목표에서 단 하나의 해결책만으로 별다른 효과를 보지 못했다면, 그 이유를 되짚어가는 과정이 굉장히 힘들어진다는 것을 알게 됐다. 디자인이 잘못되었기 때문일까? 아니면 가설이? 애초에 해결하려고 한 문제를 잘못 짚은 건 아닌가? 조직이 위처럼 갑갑한 상황에 놓이는 걸 피하기 위해 우리는 이런 사고방식에 도전할 방법에 대해 생각해보기 시작했다. 신중한 실행 트리 하나의 해결책에 뛰어드는 태도를 바꾸기 위해 조직에게 '용의주도한 제품 개발 프로세스'에서 필수적인 단계들을 알려주기로 했다. 그리고 그것을 트리구조로 보여주면 단계별로 따라가게끔 할 수 있을 것이라 생각했다. 우리는 팀이 하나의 해결책에 뛰어들기 보다는 더욱 폭넓게 문제 정의와 가설 설계를 하도록 이끌어주고 싶었다. 이 트리의 이름은 '신중한 실행 트리'이다. 신중한 실행 트리 모든 것은 데이터와 통찰력으로 시작된다. 새로운 나라로 이민을 간 친구가 외롭다고 푸념 한다면 해결책을 제시하고 싶은 마음이 들 것이다. 당신이 "너 책 읽는 것 좋아하잖아, 독서모임을 들어보는게 어때?" 라는 조언을 할 때, 다른 누군가는 동료들과 더 시간을 보내보라고 할 수 있을 것이다. 하지만 친구의 행동을 꼼꼼히 살펴보면, 그녀가 왜 진짜 외로움을 느끼게 됐는지 알게 된다. 업무가 너무 바빠 새로운 친구를 사귈 여유가 없거나, 현지에서 언어 장벽을 느껴 사람을 만날 수 있는 사회적인 상황을 기피하고 있을 수도 있다. 그녀가 친구를 사귀는데 어려움을 느끼게 된 근본적인 원인과 상황을 정확히 파악해야 실질적으로 도움되는 조언을 해줄 수 있다. 이는 비즈니스 세계에서도 마찬가지다. 데이터와 통찰을 수집하고 그에 기반해 정확한 잠재적인 문제점, 또는 기회들을 이해하는데에 충분한 시간을 보내는 것. 또한 그것들은 서로 결과가 꽤 다를 수 있는데, 스포티파이에서는 이를 마치 각자의 "산" 같다는 은유로 흔히 표현한다. 각 기회는 산처럼 정상에 이르기까지의 고도와 난이도가 상이하며, 이는 곧 각각에 대해 독자적인 전술이 요구된다는 뜻이다. 기회조사 조직 중 한 팀은 브라질 사용자들이 스포티파이의 리텐션을 올리는 방법을 연구하고 있었다. 물론 브라질 사용자들에게 호감을 사는 아이디어들을 무수히 떠올렸을 수도 있다. 하지만 데이터와 통찰을 면밀히 수집하고 분석한 결과, 팀은 서로 무척 상이한 종류의 문제와 기회들을 발견했다. 새로운 사용자에게 현지 음악 목록을 더욱 효율적으로 드러내는 것, 그리고 느린 네트워크에 맞게 앱의 성능을 최적화하는 것... 이는 각기 다른 해결책이 요구되는 문제들로, 데이터와 통찰을 활용해 올바른 방향성을 찾는 것이 매우 중요하다. 해결이 필요한 문제와 기회들을 정의한 뒤 다음 단계는 가장 큰 영향력이 어디에 있는지 파악하는 것이다. 가능하다면, 데이터 과학자 친구들의 도움을 받거나 빠르게 설문 조사나 실험을 실행해 어느 기회의 "산"이 가장 높은지 간파할 수 있다. 프로젝트 범위에 따라 정의된 문제/기회들 중 하나에만 집중을 하거나, 목표치를 바꾸기 위해 동시에 여러 개를 다룰 수도 있다. 효과를 극대화하기 위해서는 가장 높은 기회의 "산"을 가려내야 한다. 하나의 기회만 들여다 보기로 했다면, 그것만을 위한 더욱 섬세한 '신중한 실행 트리'를 그려볼 것을 권장한다. 가령 스포티파이의 모바일 회원가입을 최적화하는 것을 보기 시작했을 때, 성공적인 가입 건수를 늘리는 것이 팀이 설정한 초기 목표였다. 퍼널에 유입된 100%의 사용자들이 더 머무르고자하는 동기에 따라 단계별로 이탈율이 발생하는 점은 모든 제품에 있어 비슷하다. 대부분의 앱은 사용 전 계정을 생성해야 한다. 따라서 아직 적극적인 사용 의지가 없는 사람일지라도 회원으로서 일단 확보 해놓기 위해 그 과정을 최대한 매끄럽도록 기업 차원에서 최적화하는 것은 아주 흔한 일이다. 스포티파이의 회원가입 담당 팀이 데이터와 통찰을 들여다본 결과, 세가지 핵심 포인트에서 추가적인 최적화를 할 수 있다고 판단했다. 내용은 아래와 같다. 스포티파이 앱을 다운로드 했지만, 회원가입 창으로 더이상 나아가지 않은 경우 회원가입 창까지 도달했지만 작성은 이루어지지 않은 경우 회원가입 창까지 도달하고 내용까지 기입 했지만 에러로 인해 가입에 실패한 경우 기회의 표현 위 세 가지 중 하나라도 제대로 다루어도 목표치를 향상시키는 결과를 가져올테지만, 팀은 가입 동기가 분명히 있었음에도 실패한 세 번째 경우를 먼저 해결하기로 결정했다. 이후 팀은 더욱 구체적인 목표를 둔 '신중한 실행 트리'를 그릴 수 있었다. 목표가 구체화된 트리의 예시 회원가입 창의 계측화 된 데이터를 보고 정성적 테스트를 거친 결과, 팀은 가입 경험 중 회원가입 양식에서의 개선 여지를 더욱 정확히 정의해 가설을 만들어낼 수 있었다. 기회에서 다양한 가설과 해결책까지 어떠한 문제나 기회일지라도 어떻게 해결 하느냐에 따라 결과가 다양해질 수 있기에, 가장 이상적인 결과를 가져올 수 있는 게 무엇인지 파악하기 위해서는 문제당 가설 여러개를 생성하는 것이 중요하다. 각 가설은 여러 방식으로 해결을 시도할 수 있으므로 단 하나의 디자인으로는 가설을 증명하거나 반증할 수 없다. 각 사용자에게 특정 플레이리스트가 추천되는 이유를 설명하기 위한 기회를 탐색 했을 때 팀은 여러 가설을 내었다. 몇개의 예시는 아래의 트리로 확인할 수 있다. 더불어 아래 트리로 하나의 가설이 다양한 방식으로 설계될 수 있는 방법을 보여준다. 그리고 각 해결책은 다르게 수행될 수 있다. 한개의 가설에 제시된 여러 해결책의 예시. 썸네일 : 1) 아티스트 목록을 플레이리스트 묶음의 추천 근거로 표현. 2) 한명의 아티스트를 추천 플레이리스트의 후킹 요소로 제시. 3) 각 플레이리스트에 속한 아티스트들을 나열해 표현. 해결책에서 깨달음까지 해결책 설계 단계에서는 실행 가능 범위의 제품을 최소한으로 지정하기 전에 대담하고 자유로운 사고를 해야한다. 단기간 내 점진적 개선과 더불어 더 큰 변화가 요구되는 장기적인 방향성도 함께 탐색해야 한다. 위의 예시는 경험의 변화가 다소 점진적이지만, '신중한 실행'은 이미 존재하는 것을 되풀이 하는 대신 새로운 탐색을 할 때에도 도움된다. 제품의 가치 제안을 처음 파악할 때에는 트리가 훨씬 상위의 개념으로 고려되어야 하고, 최적화는 기본적인 기반을 잘 다진 뒤에 따른다. 제품의 성장도가 낮을수록 세워진 기준점에서 측정 가능한 영향 범위 안에 들기 위해서는 더 큰 도전이 필요하다. 해결책 설계가 끝났다면 원하는 효과를 얻을 수 있는지 보기 위해 가장 가능성 있는 것을 테스트 해볼 차례다. 바람직함과 실현 가능성 측면에서 아이디어들을 분석해보자. 기대 효과와 실행 속도도 고려해야 한다. 가장 큰 배움을 가져다 줄 아이디어와 만들기 가장 쉬운 아이디어의 평가 또한 중요하다. 여기서 기억해야할 점은 이러한 정성적인 평가는 A/B 테스트 하기에 적합한 정보를 제공한다는 것이다. 테스트와 실험을 거칠수록 다양한 해결방안의 모색이 가능해지며, 이에 따라 배우는 정보로 트리 내용도 업데이트할 수 있다. 의도는 세운 가설을 증명 또는 반증 함으로써 고안한 해결책이 목표치에 영향을 주는지 확인하는 것이다. 여러 해결책을 시도했음에도 원하는 효과가 보이지 않는다면 트리에서 다른 가지로 넘어가도 된다는 신호이다. 반면 기대하는 효과가 드러나는 아이디어가 있다면, 다른 문제로 넘어가기 전에 더 깊이있는 검증을 해보는 것을 권장한다. '신중한 실행'의 힘 이 프레임워크를 소개했을 때, 팀에서 탐색하는 가설의 질 뿐만 아니라 개선하고자 하는 비즈니스 목표에도 명백한 발전이 보였다. 자율성을 강조하는 스포티파이의 문화이니 만큼 관습적인 공정 보다는 정성스런 제품 개발 과정에 있어 되새기면 좋을 단계들로 소개하고 싶었다. 따라서 기록으로 남겨 둔다는 전제 하에 '신중한 실행' 트리를 단계별로 착수하는데에 사용하는 방법이나 도구 등엔 제한을 두지 않았다. 이는 작업 중인 내용과 이유, 그리고 향후 둬야할 주안점을 팀 내에서 눈높이를 맞춰 구조화하거나 외부로 전달하는데에 매우 유용한 도구가 되었다. 이젠 당신의 차례다 스포티파이에서 이 프레임워크를 쓴지 어언 5년이 되었으며, 이젠 더 많은 사람들에게 공유하면 좋겠다는 판단을 내렸다. 그리고 아래 소개할 우리의 팁과 주요 배운점을 기억하고 응용 했으면 한다. 1. 데이터가 부족하다고 당황하지 말자 다뤄야할 문제나 기회들의 뼈대를 잡을 때 가능한 많은 데이터와 통찰을 수집하는게 중요할지라도, 만사를 꿰고 넘어가야 한다는 생각은 비현실적이다. 조직이나 기업마다 허용되는 데이터와 조사 범위는 다르므로 정보가 부족한 것은 아주 흔한 상황이다. 대신 빠르게 인사이트를 얻을 수 있는 대안을 생각해보자. 전문가의 감정을 빌리거나 비슷한 제품을 벤치마킹하는 방법이 예시가 될 수 있다. 또는 추가적인 인사이트를 제시할 학습 실험을 제품에 적용해볼 수도 있겠다. 직감을 사용하는 것도 좋은 방법이지만, 스스로 내린 가정이 사실일지 확인해가며 의식적으로 진행되어야 한다. 중요한 것은 새로운 발견으로 '신중한 실행' 트리가 지속적으로 업데이트 되는 상황이다. 2. 어떤 방법으로 테스트해 볼 것인지를 염두해 두자 비록 정량적 실험은 비즈니스 지표가 어디서 영행을 받는지에 확실한 근거를 줄 수 있을지라도, 정성적 수단을 통해 많은 것을 배우게 된다. 양산 전에 대범한 아이디어를 정성적인 환경에서 시도해보는 것은 추후 시간과 비용, 그리고 공수의 절감에 기여한다. 가령 스포티파이의 주요 내비게이션을 개편했을 당시 팀은 다양한 콘텐츠와 기능을 말이 되는 방식으로 기존/신규 사용자들이 직접 그룹핑을 해보는 카드소팅 작업이 우선 진행되었다. 작업은 하루밖에 소요되지 않았으며, 프로타이핑 없이도 우리의 제품이 어떻게 정신적으로 구조화되고 있는지 값진 인사이트를 얻었다. 3. 전체론적인 변화는 지표를 움직이는 경향이 있다 리텐션처럼 규모있는 비즈니스 지표를 움직이는 것은 아주 어려운 일이다. 그러므로 실험 결과에 별 성과가 없어도 실망하지 마라. 무료 회원들에게 선보일 온보딩 기능을 알아보고 있을 때, 정성 평가에서 긍정적인 반응을 얻었다고 해서 단 한번의 제품 교육이 정량적인 지표에 큰 영향이 없다는 것을 깨닫게 되는 상황을 다수 직면했다. 하지만 여러 변화를 한번에 소개하자 비로소 리텐션 수치가 향상되었다. 4. 최소 실행 가능 제품 (MVP-mininal viable product)은 본거지까지만 마련해준다 지표가 움직일 정도의 실험을 시행한 뒤에는 검증한 경험을 대규모로 배포하고 다음 기회를 찾아 떠나기 쉽다. MVP는 유지가 필요한 기회의 "본거지" 마련만 해줄 뿐이며, 더 나아가 발전 시켜야 눈에 띄는 효과를 볼 수 있다는 걸 기억해야 한다. 일반적으로 MVP는 기능성에 필수적이진 않지만 더욱이 매력적인 제품이 되기 위한 호감 요소를 포함하고 있지 않기 때문에 제품 전반의 경험을 높은 퀄리티로 최적화하는 것을 잊어서는 안된다. 이 프레임워크를 여러분의 팀과 공유하고 테스트할 수 있게 PDF 형태로 첨부 해두었다. 제품을 더욱 효과적으로 개발하는 도구로써 활용되기를 바란다.