안녕하세요.

로워드와 LMS 비즈니스 사업을 총괄하고 있는 Edward입니다.

 

로워드는 강력한 키워드 분석 솔루션을 제공하고 있으며, 단순히 입력받은 데이터에 대한 결과 값만 출력하는 것이 아닌,

키워드 데이터와 API 요청을 통해 return된 데이터들을 함수화하여 실질적인 키워드 Surfer 분들에게 실용적인 분석 데이터를 제공하려고 노력하고 있습니다.

*키워드 Surfer는 로워드를 통해 키워드를 서핑하는 유저를 정의합니다.

 

로워드는 아직 오픈 베타를 하지 않은 상태 임에도 불구하고, 매일 수 만건의 키워드 조회 및 분석 데이터를 사용자에게 전달하고 있는데요.

알파 버전이지만 키워드 조회 로그 및 return된 데이터를 어떻게 활용하고 있을까에 대해서 또한, 앞으로 로워드가 추구하는 데이터 프로비저닝 플랜에 대해서 서술하고자 합니다.

 

로워드는 어떤 데이터를 수집하나요?

알파 버전에서의 로워드는 수 많은 데이터를 로우한 형태로 가공 없이 수집하고 있습니다.

 

어떤 데이터를 수집하는 지 설명하기 이전, 키워드에 대해서 잠깐 짚고 넘어가보자면 디지털 인프라가 만연하게 존재하고 누구든지 디지털에 접근이 가능한 시대가 도래함에 따라, 모든 사람들은 정보의 바다인 인터넷에 '키워드'를 기준으로 접근하고 정보를 획득합니다.

 

로워드팀은 단순히 '키워드를 검색하여 원하는 정보를 얻는다'라는 의미에 함축되어 있는 가치를 조금 더 디테일하게 분석하고자 했습니다.

 

 

'나이키', '주전자', '웹툰' 우리들이 흔히 포털 사이트에서 검색할 수 있는 키워드들입니다.

위와 같은 키워드들이 공통적인 상관관계가 없다고 생각할 수 있지만 역시 모든 것은 디테일 속에 존재합니다.

 

원래는 더욱 구체적으로 작성할 수 있으나 피드 작성을 위해 아주 간략하게만 설명하자면 아래와 같습니다.

 

'주전자', '나이키'의 상관 관계는 '쇼핑' 관련의 트렌드이자 하나의 카테고리 군으로 엮을 수 있으며, '웹툰'과 '나이키'는 '20대'라는 키워드로 연관 지을 수 있는데요, 이를 통해 얻을 수 있는 정보는 나이키를 제일 관심 있어 하는 나이대는 '20대'라는 것을 유추할 수 있고 이를 통해 더욱 다양한 조합식과 결과를 내놓을 수 있습니다.

 

로워드 팀은 높은 수준의 빅데이터를 수집하여 개인화된 키워드 결과 값을 제공하려고 노력했습니다.

 

모든 키워드는 로워드에서 조회할 경우 하나의 변수로서 저장되며, 포털 오픈 API를 통해서 제공 받는 데이터도 있지만 로워드를 통해 발생된 트랜잭션 데이터 중 개인화 데이터를 결합하여 더욱 정교한 결과를 만들 수 있습니다.

 

또한 이에 발생되는 트랜잭션은 하나의 '데이터 레이크'를 통해 날 것 그대로의 상태로 보존됩니다.
*물론 로워드 내 개인을 특정할 수 있을 만한 정보는 암호화 처리하거나, 수집하지 않습니다. 데이터의 계층화를 위해서만 사용됩니다.

 

 

 

상기 사진은 간단하게 계층을 시각화한 자료입니다.
저러한 키워드 요청이 많으면 많을 수록 로워드를 구성하는 데이터의 정확도와 신뢰성이 높아져 양질의 결과를 전달할 수 있게 됩니다.

 

개인 1명의 키워드 결과 로그들은 큰 의미가 없을지 몰라도, 그 개인의 집단(카테고리 군)을 구성하는 요소들은 수가 모이면 모일수록 강력한 정확도를 제공하는 하나의 지표로 활용될 수 있습니다.

 

로워드를 이용하는 키워드 Surfer는 '일반인'부터 '사업가', '업계 전문가', '바이럴 마케터' 등 수 많은 타겟이 원하는 결과를 가공하여 보여주기 위해 개인을 특정할 수 있는 데이터를 수집하고, 결과를 수집하고, 연관 데이터를 수집하여 정확한 로워드 모델을 만들어 내고 있습니다.

 

 

데이터 레이크가 뭔데요? 왜 썼나요?

데이터 레이크에 대한 설명에 앞서, 우린 정보화 시대에서 빅데이터가 가지는 가치에 대해서 다시 이야기 하고자 합니다.

 

아마존은 십 수년간 글로벌 최대 전자상거래 기업으로서의 입지와 지위를 굳건히 하였습니다.

근데 그거 아시나요? 아마존은 사실 '글로벌 최대 전자상거래 기업'이기도 하지만, 세계 최대의 '개인화 빅데이터 기업'이기도 합니다.

 

아마존 닷컴에서 소비자들의 구매&행동 데이터를 수집하고, 수집된 데이터를 축적하여 소비자 개인에 원하는 맞춤 제품을 개발하기도 하고, 상품을 추천하기도 합니다. 이는 아마존의 성장과 소비자의 편의, 니즈를 모두 충족하는 기본 조건이자 핵심 자산으로 남게되었죠.

이를 로워드에 맞춰서 본다면 아래와 같이 정의가 가능합니다.

아마존 닷컴 = 로워드
소비자 정보 = 키워드 Surfer
구매&행동 데이터 = 로워드 검색&조회 데이터

 

로워드 팀은 여기저기 흩어지거나, 정형화되어 재사용되지 않는 데이터가 없도록 모든 데이터를 데이터 레이크에 보관함으로서 데이터를 자산화하는 과정을 갖도록합니다.

 

다른 플랫폼에선 볼 수 없던 개인화된, 또한 단순히 오픈 API로 요청한 값에 대한 결과만 출력하지 않는 더욱 정교한 데이터를 전달하기 위한 모델을 만들수도 있겠지요, 또한 다양한 키워드 분석에서 파생된 비즈니스 인사이트를 통해 고가치적인 비즈니스 모델로의 연계 또한 가능합니다.

 

 

 

데이터 레이크는 말 그대로 데이터가 담긴 호수를 의미합니다.

 

데이터 레이크가 떠오르기 이전 데이터 웨어하우스 형식으로 스키마 정의가 되어 있는 정형화된 데이터만을 취급하고, 수집·분석하였다면 데이터 레이크는 말 그대로 정형화 데이터, 비정형화 데이터 등 데이터로 볼 수 있는 모든 로우 데이터들을 한데 모아놓고 필요에 의해 추출하여 꺼내 쓰는 방식을 사용합니다.

 

이는 수집되는 데이터의 모수와 범위 자체가 더 큰 범위까지 차지하기에 새로운 비즈니스 인사이트를 얻었다면 로워드 팀에 축적된 데이터를 통해 가설에 따른 실험과 분석 실행까지 매우 빠른 속도로 진행할 수 있습니다.

 

즉, 개인의 집단(카테고리 군)을 중점으로 연관된 모든 데이터를 조합하여 결과를 도출하는 과정 자체를 줄여 큰 규모의 빅데이터 운용이 용이해집니다.

 

가장 큰 장점 중 하나인 ^(a)쿼리 속도에 대해서 이야기를 안할 수 없는데, 기존 정형화된 관계형 데이터 베이스에서는 데이터를 읽어들이기 위해서는 ^(b)인덱스라는 색인을 거친 데이터를 수집합니다.

^(a)쿼리(Query) : 데이터 베이스에서의 정보 요청

^(b)인덱스(Index) : 데이터의 색인, 흔히 책갈피라고 한다.

 

일정 수준의 데이터 베이스 규모라면 데이터 세트의 인덱스하는 것 만으로도 속도적 용이함을 얻을 수 있는데, 키워드와 같은 대규모 로그 트랜잭션이 발생하는 서비스 특성상 인덱스만으로 처리가 어려울 수 있습니다.

 

 

저는 흔히 데이터 레이크를 통한 데이터 접근 방식과, 일반적인 데이터 웨어하우스나 관계형 데이터 베이스에서 데이터를 접근하는 방식을 도서관과 디지털 도서관으로 비유를 하곤 합니다.

 

우리들은 도서관에서 책을 찾을 때 도서 구분(카테고리) 첨자를 보고 책을 찾을 경우 정보가 없는 상태에서 책을 찾는 것보다 더욱 빠른 속도로 찾아낼 수 있을 것입니다. 하지만, 도서관의 규모가 엄청나게 비대할 경우 과연 도서 구분 만으로 책을 찾기 수월할까요? 도서 구분 간의 물리적 거리, 색인된 책을 찾으러 다니는 수고를 규모에 따라 더욱 들 수밖에 없습니다.

 

하지만 디지털 도서관, ebook을 취급하는 전자 서점은 어떨까요?

필요한 정보만을 기입하여 원하는 결과를 얻어내기 용이하고, 도서관에서 찾는 수고를 덜 수 있습니다. 아날로그적인 방식이 아닌 원하는 목적이 뚜렷한 사람들(책을 구매하기 위한 사람, 찾는 책이 명확한 사람)이 이용하기에 적합하죠.

 

데이터 레이크는 최신화 된 데이터를 앞서 저장하기에 비정형화된 데이터를 손 쉽게 원하는 구성으로 최신 데이터만 뽑아서 사용이 가능합니다. 즉, 로워드의 서비스 방향성과 매우 잘 맞을 수 있습니다.

 

 

글을 마무리하며

 

 

로워드 팀은 더 나은 분석 결과를 위해 고도화된 데이터 분석을 시도합니다.

 

이 피드를 작성하는 2024년 2월 현재까지도 로워드 뿐만 아닌 유사 플랫폼에서 제공되는 키워드 분석 플랫폼은 단순한 외부 제공 정보를 통한 데이터 출력이 대부분이며, 내부 로직이나 이용자들이 원하는 정보 습득의 정확도까지 잡아내지 못하고 있습니다.

 

로워드 팀은 키워드 Surfer들의 로워드 위에서의 디지털 생애 주기에 맞춘 변화와 혁신을 이루기 위해 다양한 로직 테스트를 진행하고 실험하고 있고, 이는 빅데이터를 통해 시작되었습니다. 

 

더욱 구체적인 데이터 파이프라인은 서술하기엔 민감한 부분이 있어 공개가 어렵지만, Google 및 Meta, 네이버, 카카오의 공통된 부분들은 바로 사업화 및 기술혁신을 개인화 데이터를 중점적으로 활용하며 이루어냈습니다.

 

구글과 메타는 구글 애즈, 애드센스, 메타 스폰서드를 통해 사업화를 시도했고, 네이버와 카카오는 국내에 최적화된 개인화 경험을 제공하면서 광고부터 각종 편의 기능(최근엔 민간 인증서 사업까지)을 혁신하여 우리들의 삶에 많은 변화를 주고 있습니다.

 

단연컨대 디지털 서비스 기업 뿐만 아닌 우리들의 삶에 밀접하게 되어있는 오프라인 비즈니스에서도 개인화를 통한 디지털 전환 사례들이 많습니다. 우리가 알아채지 못할 정도로 정보화 시대 속 빠른 변화와 정확한 정보 전달을 위해선 혁신이 지속 되어야 합니다. (예: 스타벅스, 나이키)

 

로워드 팀이 원하는 혁신은 단순히 키워드 검색의 주체가 되는 포털 사이트에 의존된 데이터를 보여주는 것만이 아닌, 마케터, 사업가, 일반인 할 것 없이 키워드를 통한 정보 제공/수집을 위한 개인화 서비스를 제공하는 것으로부터 시작됩니다.

 

 

* 해당 피드는 저작권법에 의하여 보호받는 저작물로 기고자 및 로워드 팀에 저작권이 있습니다.

* 해당 피드는 사전 동의 없이 2차 가공 및 영리적인 이용이 불가합니다.