[데벨챌 4기] Week3. 중요한 것은 '많이' 하는 것이 아니라 '필요한' 것을 '정확하게' 하는 것이다

일잘러의 필독서 ‘그로스 해킹’ 함께 읽고, 저자 북토크 까지 함께해요 (신청 마감)

 

3주 차 리뷰

벌써 데벨챌 마지막 주차라니! 무사히 완주했다는 사실이 뿌듯합니다. 1주 차, 2주 차에는 그로스해킹의 개념과 지표 성장을 위한 방법론을 배웠다면, 3주 차에서는 그로스해킹을 우리 서비스에 실제로 어떻게 적용할 수 있는지, 어떤 환경과 지식이 필요한지에 대해 알게 되었습니다.

 

특히 ETL, 데이터 파이프라인, 사용자 행동 로그 등 채용 공고에서 자주 보았던 용어들을 더 깊이 이해할 수 있는 시간이었습니다. 이전에는 추상적인 개념만 알고 있었는데, 관련 서비스의 구체적인 예시와 데이터 파이프라인 구축 시 필요한 실무적인 질문들을 배울 수 있어 유익했습니다.

 

A/B 테스트를 설계하고 효과를 측정할 때는 평균값 비교나 p값만을 맹신하지 말아야 한다는 점을 배웠습니다. 실제 서비스의 성장을 위해서는 다양한 변수들을 고려해야 합니다. 서비스 성장을 위한 데이터 분석은 단순한 기술적 분석을 넘어서 실질적인 변화를 이끌어낼 수 있어야 합니다. 이를 위해서는 여러 부서와의 협업, 도메인 지식, 그리고 사용자에 대한 깊은 이해가 필요하다는 점도 다시 한번 깨달았습니다.

3주 차 인사이트

• ETL : 여기저기에 산재돼 있는 데이터를 수집하고 분석하기 편한 형태로 변환하고, 원하는 데이터베이스에 최종적으로 적재하는 일련의 과정
• 데이터 파이프라인 : 데이터를 쌓고, 필요한 형태로 가공하고, 추출하고, 의사결정에 활용할 수 있는 프로세스를 만드는 일
• A/B 테스트 : 두 가지 서로 다른 옵션에 대한 사용자의 반응을 측정함으로써 어떤 옵션이 더 효과적인지를 검증하는 과정이다.
• 행동 로그 설계의 핵심은 이벤트의 속성을 어떤 수준으로 함께 남길 것인가를 정의하는 부분이다. = 이벤트 스키마 설계서
• 이벤트 수가 많아질수록 유지 보수 QA가 힘들어진다. 무작정 많은 이벤트를 수집하려고 하기보다는 ‘필요한’ 이벤트를 ‘정확하게’ 수집하는 것이 중요하다.
• 랜덤 추출 : 통제 변수가 잘 관리된 것을 전제로 모든 표본이 동일한 확률을 가진 상태에서 뽑는 무작위 추출, 순차 테스트 → A-B-A 테스트 등으로 보완 가능
• 실험 집단의 규모가 매우 크다면 p값이 가지는 의미가 왜곡될 수 있다. ( 표본 크기가 커지면 p값은 낮아지는 특성이 있음 )
• 시장의 변화, 계절 등 외부 환경의 변화, 사용자층의 변화, 사용자들의 취향 변화 등 다양한 요인에 의해 A/B 테스트의 결과는 얼마든지 달라질 수 있다. 한번 진행된 A/B 테스트 결과를 만고불면의 진리라고 믿어서는 안 된다. A/B 테스트는 전역최적화가 아닌 국지적 최적화를 찾는 실험이다.

챌린지 참여 후기

그로스 해킹이라는 책을 읽으며, 실제 서비스에서 데이터를 어떻게 더 유의미하게 활용할 수 있는지를 배웠습니다. 또한 데이터 활용 시 유의해야 할 점과 정확한 분석을 위해 고려해야 할 사항들이 많다는 것을 배웠습니다. 중요한 것은 '많이' 하는 것이 아니라 '필요한' 것을 '정확하게' 하는 것이다라는 이야기가 가장 와닿았습니다.

 

이번 챌린지를 통해 정확한 목표를 설정하고 다른 사람들과 이를 공유하는 것이 큰 원동력이 된다는 점을 다시 한번 느꼈습니다. 매주 정해진 목표에 따라 책을 읽고 후기를 남기는 것뿐만 아니라, 다른 분들이 남긴 후기를 읽으며 더 많이 배웠습니다. 각자의 상황에 따라 같은 내용이어도 인상 깊었던 점이나 떠오르는 생각들이 달랐다는 점에서 매주 후기를 읽는 재미가 있었습니다. 혼자 읽었다면 책을 더 빠르게 읽을 수는 있었겠지만, 지금만큼 기억에 남지는 않았을 것 같아요.

 

저자와의 북토크는 개인 일정 때문에 당첨이 되어도 참석할 수 없겠지만, 3주간 무사히 완주했다는 사실만으로도 충분한 것 같습니다. 다음 챌린지가 열린다면 한번 더 참여하고 싶어요. 언젠가 데이터 분석가로 근무하며 이 책을 다시 한번 펼쳐볼 날이 오면 좋겠네요!