효율성 개선 프로젝트 과정 중 크롤링 결과물 활용방안 고민

마케터에게 VOC를 쉽게 얻을 방법이란?

마케팅에선 줄곧 강조하길 고객의 관점에서 생각하라곤 하지만, 정작 돈과 시간이 드는 일이다. 데이터 하나 없는 구직자들에게 바라는게 많다싶다.

 

그렇기에 텍스트 마이닝이 의미가 있고, 댓글을 모으고, 감성분석을 하는 것이다. 댓글이 대부분 무가치하고 FGI 보단 못할 지언정 최소한의 근거는 될테니까.

 

더불어 GPT란 이슈 메이커가 다른 가능성을 보여 준다.

이걸 오퍼레인션으로 정리하면 어떨까?

---

1. 크롤링

요즘은 GPT 가 짜준다는데, 그마저도 배우고 설정하기 어렵고 힘든 사람이 많을 것이다.

https://listly.io/

리스틀리 | 단숨에 웹데이터 추출!

이런 서비스를 찾아서 유료 결제라도 하면 되지 않을까.

중요한건 테이블 형태로 정리된 리뷰 데이터를 모아두는 것이다. 기왕이면 훗날을 위해 식별되는 각종 요소들(날짜, 아이디, 별점, 한달 후 리뷰 여부 등)을 같이 정리해두면 좋으리라 예상한다.

---

 

2. chat GPT 크롬

구글 스프레드 시트에 함수만 쓰면 chat gpt 를 쓸수 있는 확장 프로그램이 있다. 당연히 유료로 API 키를 chat GPT에게 발급받아야 한다.

 

https://bulleten.tistory.com/110

구글 스프레드 시트에서 chat gpt 함수 사용/연동하기 - google spreadsheet with chat gpt function

다음의 과정을 거칠 수 있도록 프롬프트를 짜야할 것이다.

리뷰 >> 번역 >> formal한 형태로 문법 정리 >> 추출하여 다섯 가지 항목으로 분류[고객들이 해당 상품에서 원한 것, 고객들이 해상 상품을 사용할 때 불편하거나 불안해하는 요소, 상품을 사용하는 상황, 인적 사항(성별, 직장, 가족관계), 해당 상품을 접한 매체. 없다면 없음으로 표기.(원하는 요소의 항목의 온전한 분류가 어렵다면 한 리뷰에 각 항목에 대응하는 프롬프트를 작성해 추출하는 방식으로 구성) >> 한국어로 번역

---

 

3. 분석

그룹핑을 통해 차지하는 비중을 확인.

e.g. 사용하는 상황이 사무실 키워드 비중이 n%다.

 

 

---

 

구현 결과

어쩌면 그냥 사람 눈으로 확인 하는게 더 나을 지도 모른다. 적어도 내가 다루고자는 상품에 대해선 사람 눈으로 확인하는게 나을 지도 모른다. 이유는 아래와 같다.

 

<!--td {border: 1px solid #cccccc;}br {mso-data-placement:same-cell;}-->

리뷰	번역=GOOGLETRANSLATE(리뷰가 있는셀 주소,"ko","en")
간편하고 좋아요! 입에 넣고 씹자마자 거품이 엄청나더라구요! 평소에 치약을 많이 사용해서 이를 닦는 편이라서 치약 양이 조금은 부족하다고 느껴졌지만, 편리성과 가벼운 무게를 생각하면 계속 구매하게 될거같아요~	Easy and good! I put it in my mouth and chewed it. I usually use a lot of toothpaste to clean my teeth, so I felt a bit lacking in toothpaste, but if you think about convenience and light weight, you will continue to buy it.

번역은 구글 번역을 사용했다. 일단 chat gpt api 사용시 무료로 쓸 수 있는 토큰 제한을 최대한 피하기 위해서다

아래에는 

각 열마다 정해진 질문에 따라 리뷰를 참조한 답을 하도록 했다.

=GPT(질문, 참조하는 셀로 여기서는 고객 리뷰)

 

질문문은 5가지이며 모두 같은 셀의 번역된 리뷰를 참조한다. 모두 같은 질문문으로 시작하며 뒷부분만 최대한 gpt가 인식하기 쉽게 격식있도록 문장을 다듬는다
After looking at the input review text, extract the information after "-" in the sentence below into 2-3 keywords, and print them separately with semi colon(;) in one line. If there is no content that corresponds to the information in the review, it is okay to set it to blank.

입력하는 리뷰 텍스트를 보고, "-" 뒤에 나오는 정보를 2~3 개 이하의 키워드로 추출하라. 그리고 각 키워드를 한 줄에서 세미콜론(;)으로 분리하여 출력하라. 만약 정보에 해당하는 내용이 리뷰에 없다면, 공란으로 둬도 좋다.

-What customers are satisfied with the product

고객이 제품에 대해 만족하는 사항

-What customers expect or want from the product.

고객이 제품에 기대하거나 원하는 사항

-Factors that make customers uncomfortable or anxious when using the product.

고객이 제품 사용시 불편해하거나 걱정하는 요소.

-The customer's gender and age.

고객의 성별과 나이대

-The medium or channel that encountered the product.

제품을 접한 미디어 또는 채널

-The circumstances of using the product or the buyer's journey.

제품을 사용하는 환경 또는 고객의 구매여정

 

Convenience; Light weight;

Convenience; Light Weight;

Blank

결론은 1~3번째 답만 나오고 4, 5는 공란이었다. 사실 정보를 추출하는 퀄리티 까진 큰 기대하지 않았다. 그런데 공란으로 둬도 좋다는걸 문자 그대로 Blank라고 출력할 때 느낌이 싸늘해지는 것이, 아직 내가 쓰기엔 문제가 많다는 점을 느꼈다.

 

아무리 생각해도 너무 요구한것도 많고, 전례도 얼마 찾지 못한 데디, 생각 이상으로 많은 질문을 동시에 물어봤던 것으로 보인다.

 

어쨌거나 이 프로세스의 결론은 차라리 팀원들이랑 분량을 나눠서 한가지 요소(고객이 구매하려던 주된 요소)를 추출해 카테고라이징 하는 것이 더 쉽고 편하며 비교적 확실하다는 것이다.

 

다만 내가 준비가 부족했던 감도 있으니 다음엔 GPT4 기반이라는 빙 챗봇도 쓸 방법이 있는지 확인해봐야겠다.