Keep Calm And Carry on

scc2

(순수 뇌피셜)

앞으로의 데이터 분석 직무의 운명은 

솔직하게 말해 그렇게 밝지 않다. 

단, 계속 현재에 머문다면 밝지 않다. 

1. ChatGPT로 해결한다. 비용도 저렴하다.

무슨 말인가 하면, 현재 "데이터 분석가"라는 직무로 

요구되는 뭔가 데이터를 시각화하고 숨은 의미를 찾고 이런 

직무는 없어질 것이다.

그 이유는  ChatGPT를 시작으로 LLM을 통한 분석의 접근성이 매우 매우 좋아지고 있고

한 번이라도 GPT(유료)를 써본 사람이라면 어지간한 분석 정도는 맡길 수 있을 것이라고 

바로 판단할 수 있을 정도로 성능이 좋아졌다.

예전에는 통계 공부를 어느 정도 해야 해석할 수 있었던 다양한 테스트 지표들도 

알아서 해석해주고, 조금만 더 정교하게 질문하면 거기에 맞추어서 생각할 거리를 제공하고

점점 만능이 되어가고 있다. 

요약하자면 LLM 때문에 기존의 데이터 분석가라는 직무는 없어질 확률이 높다는 말이다.

(정확히 말해 데이터 분석가가 하는 일 자체에 변화가 있을 것이라는 말.)

2. Causality(인과추론)

그렇다면 바라보고만 있어야 하는가?

개인적인 생각으로는 앞으로 데이터 분석가 직무에 

"Causality"를 볼 줄 아는가?라는 요소가 붙을 거라고 생각한다.

"지금도 A/B test 진행할 수 있어?라고 JD에 나와있는데요?"라고 질문한다면,

물론 A/B test도 Causality를 보는 아주 대표적인 방법 중 하나지만, 

그것뿐만 아니라 Causality에 대한 전반적인 지식과

실행능력, 판단능력이 있느냐를 요구할 것 같다는 말이다.

그 이유는 

2 - 1) DL은 과하다.

데이터 분석가라는 직무에서 ML모델링까지는 요구하는 경우가 있지만,

DL 및 LLM에 대한 스페셜리티를 가진 

데이터 분석가를 요구하기에는 너무 과한 측면이 있다. 

(차라리 DL 및 LLM 관련 엔지니어에게 데이터 분석까지 하라고는 할 수 있겠다.)

2 - 2) 데이터 분석가의 목표

데이터 분석가의 직무 상,

보통 "데이터를 통해서 새로운 사실을 알아내고 액션을 통해서 이윤을 만들어내 보자"

에 목적이 있는데(퍼포먼스 마케팅도 사실 비슷한 맥락이다.)

이에 가장 부합하는 분야가 Causality라고 할 수 있다.

효과적인 Intervention을 찾아내는 것 자체가 위의 목적과 정확히 부합되기 때문이다.

(물론 Intervention 할 수 있는 변수에 대해서)

2 - 3) Causality의 깊이

Causality라는 분야 자체의 학문의 깊이가 엄청나게 깊다. 

역사가 계량경제학부터 시작되기 때문에 제대로 파고들려면 한참 공부해야 한다.

즉, 입문의 문턱이 높다는 말이다. 다른 말로 전문성이 있다는 말이다.

그만큼 공급이 적을 수 있다. (지금은 수요도 적은 듯 하지만..)

2 - 4) 신성불가침의 영역

제일 중요한 부분인데, 

LLM 및 인공지능이 대체하기 어렵지 않나 개인적으로 생각한다.

인과추론이라는 게 단순히 데이터만으로 판단하기 어려운 분야이다.

데이터가 어떤 방식으로 수집되었고

누구에게 데이터를 수집하겠다고 배정되었고

배정 방식은 어땠고

그때의 주변 상황은 어땠고

분석 당시와 데이터 수집 당시의 상황은 어땠고 등등

전체적으로 판단해야 할 부분이 매우 크다.

즉, 데이터가 갖고 있는 근본적인 Context가 매우 매우 매우 중요한 분야이다.

단순히 분석한 결과를 통해 결론을 내기가 쉽지 않은 분야라는 말이다.

위와 같은 이유로 Causality가 중요하게 다뤄질 거라고 생각되는 바이지만,

우려스러운 부분이 있다. 

3. 우려스러운 부분

3 - 1) Causality를 본다는 게 실질적으로 가능한가?

 과연 지금까지 기업들에서 Causality를 몰라서 안사용했을까?

애초에 사용하기 어려워서, 실질적으로 효과를 장담하기 어려워서

"그냥 간단하게 A/B test나 해보자" 하지 않았을까?

3 - 2) Causality를 본다고 한들, 실제로 효과가 있을까?

과연 Causality 분석한 결과를 토대로 Intervention을 적용했을 때 진짜 효과가 있었나?

그런 사례가 있나?

(근데 그렇다면 학문이 아예 사라지지 않았을까? 정책 연구는 그럼 왜 하는 거지? 사회과학 연구 방법론 자체를 부정하게 되는 건가?)

3 - 3) 비용측면에서 차라리 그 시간에 마케팅이나 상품 개발 더하는 게 이득 아닌가?

돈을 벌어야 하는 회사 입장에선 "굳이?"라고 느낄 수 있다.

4. 결론 

내 생각엔 데이터 분석가를 지망하고

혹은 현업 데이터 분석가이고 

좀 더 Speciality를 갖고 싶다면 

위와 같은 이유로 Causality가 좋은 옵션이 될 것이라고 생각한다.

(애초에 Causality를 공부하는 게 데이터를 보는 데 있어서 두루두루 도움이 굉장히 많이 된다.)

우려스러운 부분이 있지만, 아마 진짜로 저런 거라면 

학계에서 먼저 사장되지 않았을까?

기업에서 활용하기에 실무자가 적절한 방법을 찾기만 하면 되는 거라고

믿고 있다. 

앞으로 지켜볼 일이다.