Purumir's Blog

Machine Learning, SW architect, Management, favorites

chatbot@digital transformation

MBA과정 중 제약회사에 다니는 형님 한분이 이런 말씀을 하셨다.

“공대는 이유를 이야기하고, 문과는 명분을 이야기한다”

이 이야기를 듣고 학교에 잘 들어왔다는 생각을 했다. 나와 다른 커리어를 가진 사람들틈에서 다른 관점의 생각을 들을 수 있었다. 수식이 아닌 why.
BM을 먼저 생각하는것은 내가 배울 점이다.

어떤 일을 함에 있어 명분은 상당히 만들기 어렵다. 그래서 명분을 쌓는다는 이야기가 있다.
그 정도로 안 쌓인다는 이야기다. 대체적으로 명분을 만들지 못해 많은 기획들이 좌초한다. 혹은 시장이 그렇다거나 글로벌 리포트(Gartner)에 묻어 가는 식이다. 아니면 아무 생각이 없거나.

Digital Transformation은 왜 해야 하는가.
이 주제도 하는 방법을 이야기 하면 공대적인 접근이고, 그 전에 해야 하는 명분 확보가 되야한다. 그래서 무엇을 얻고자 한다는 것인가.그 답을 만들어야 한다. 회사에서 벌어지는 DT작업은 대부분 방법론적이다. 그래서 뭐?라는 대답에 명확한 답이 없다. 그리고 별로 고민을 하지 않는다. 어려우니까.

처음 챗봇이라는 주제로 과제를 기획하고 진행을 할때 이것이 기술적인 접근으로는 가능하다고 봤지만 우리가 정보를 유통하는 방식은 그렇게 쉽게 바뀌지는 않는다. (그리고 챗봇은 NLP에서도 가장 어려운 영역이라 생각한다. 그리고 NLP는 머신러닝에서 가장 어려운 영역이다. 인간의 언어는 multi-sense이다.). 여전히 전화를 직접 해서 확인하는 방식의 편의성을 넘어서지 못한다. 그래서 현재 gartner hypercycle에서 회의기(부풀려진 기대의 정점, Peak of Inflated Expectations)에 접어들었다. 이걸 넘어야 성장이 가능하다.

밀레니얼 세대는 확연히 채팅을 통한 소통으로 넘어가고 있지만 아직 회사의 많은 결정권자들은 전화를 하는 사람들이다. 다른 관점으로 보면 아이폰이 나오고 PC에서 모바일 app으로 정보 유통이 바뀐게 15년 정도 걸렸다. 그리고 Natural User Interface가 나온지는 몇년. 어느정도의 기술적 숙련 시간이 걸리겠지만 그렇게 기술이 숙련되었을때 기대효과는 기업에 있어 정녕 무엇일까. 결국은 fixed cost의 절감으로 귀결된다. 하지만 아직은 보조적이다. 카뱅도 기존 상담의 부하를 줄이는데 초점이 맞춰져 있다.

“내 손안의 컴퓨터”(스마트폰) 같은 들어서 알만한 그런 명분은 없을까.

세종대왕의 리더십

세종대왕은 우리가 익히 알기를 한글 창제의 주역(세종이 주도했다는 것이 정설이라고 하며, 최근 개봉한 ‘나랏말싸미’는 다른 의견을 기초로 한다.)이시기도 하고, 장영실의 등용을 비롯한 많은 과학기술의 발전을 이루어낸 분이시다. 하지만 본인의 형을 타의에 의하긴 했지만 밀어내고 권좌에 오른 장본인 이기도 하며, 집권 후반기에는 세대 교체에 실패하여 제대로 된 개혁을 하지 못한 오점을 남기기도 하였다.

세종대왕의 리더십을 통해서 현재 시대에서 리더가 되기 위한 준비사항과 무엇을 조심해야 하는지에 대해서 생각해보고자 한다.


세종대왕의 ‘과업지향’ 측면

세종대왕은 ‘역할과 목표의 명확한 정의’, ‘구체적 계획 수립에 의거한 업무활동 추진’, ‘운영 및 성과에 대한 상세한 점검’을 중심으로 과업에 대한 의지를 보여주었다.

  1. 역할과 목표의 명확한 정의
    • 무엇보다 백성이 먹고 사는 문제 해결에 중점을 두어, 고을 수령들이 지역의 농사현황등을 상세히 파악하도록 지시
  2. 구체적 계획 수립에 의거한 업무활동 추진
    • 농업 개량 및 구조 혁신(측우기, 수차등을 통한 생산성 증대)을 도모
    • 각종 규제를 완화 및 세법을 정리(양반 시대에 세금 문제의 정리는 매우 어려웠던 일)
  3. 운영 및 성과에 대한 상세한 점검
    • 적극적인 의견 수렴
    • 결과에 대한 엄정한 관리 및 피드백

세종대왕의 ‘관계지향’ 측면

세종대왕은 ‘과업 지향’적인 측면 뿐만 아니라 ‘관계지향’ 적인 측면에 대해서도 많은 신경을 쓰신 분이다.

  1. 발전적 전망을 갖게 하는 ‘관계’의 리더십
    • ‘잠든 신숙주에게 옷을 덮어준 일화’(절제된 친근감)
    • 언행 일치와 커뮤니케이션
  2. 부하 능력의 개발
    • 집현전 강화(학문전념)
    • 질책 대신 동기부여(일식 예측 실폐 사례)
    • 적극적인 권한 위임(북방지역 국경 지휘권 및 인사권 현장 이양)
  3. 칭찬, 인재등용
    • 임현사능(任賢使能) : 유능한 인재를 적절하게 등용하여 적재적소에 배치
    • 신상필벌(信賞必罰) : 잘한 일에는 상을 주고, 못한 일에는 벌 내리는 데 엄정함 지향
    • 강거목장(綱擧目張) : ‘하나의 벼리를 들면 만개의 크물코가 모두 펼쳐진다.’. 이는 그물의 줄기를 통해 다수의 그물코를 편다는 것으로, 어떤 사안에 대한 핵심을 정확하게 알고 이해
    • 위임책성(委任責成) : 인재에게 일을 맞겨 일을 성취게 하라는 뜻으로 다음의 사례에서 그 성향을 볼 수 있음. 위임을 받는 부하가 해당 문제에 더 가까이 있고 전문성이 있을 경우 의사결정의 질이 향상됨
1
2
3
4
5
6
7
[의정부 참찬(정2품) 김점(태종의 장인) 과 예조판서(정2품) 허조 간의 논쟁 中]
김점 : 금상 황제의 법도를 따라야함
명나라의 영락제처럼 친히 죄수도 심문하고 잘못한 신하들에게 벌도 주어야함. 온갖 정사를 전하께서 친히
통찰하시는 것이 당연하옵고 신하에게 맡기시는 것은 부당함
허조 : 관을 두어 직무를 분담시켰으니 각기 맡은 바가 있음.
임금이 친히 일의 크고 작음을 가리지 않고한다면 관을 두어 무엇하나
세종 : ‘허조를 옳게 여기고 김점을 그르게 여겼다’.

세종대왕의 ‘참여와 권한 위임’

  1. 권한위임

    • 세종대왕은 적극적인 임파워먼트(empowerment)로 국가 경영을 시행한 장본인이다. 또한, ‘태종태세문단세’라는 왕권의 변화과정에서 알수 있듯이 조선이라는 나라가 세워지고 수성의 단계에 들어설때 교두보 역할을 충실히 해낸 인물이기도 하다.
    • 권한위임도 무조건적으로 했다기 보다는 선별적인 권한위임을 추구하였고, 부하의 비전을 발견하고 등용하는 모습을 보임(노비 신분 장영실의 등용)
  2. 장기간의 안목

    • 한글창제의 과정에서도 장기간의 식견을 통해 문화적인 독립을 위해 ‘언어’의 중요성을 깨닫고 이루어낸 업적이라 할 수 있다. 얼마전 이낙연 총리가 한글날 기념식에서도 이야기 했듯이 ‘언어’의 창제의 기원을 명확하게 알고 있는 몇 안되는 혹은 유일한 언어라고 언급하기도 했다.

세종대왕의 ‘카리스마적 리더십’

리더가 되면 ‘귀는 열고 입은 닫으라’는 말이 있듯이 경청의 습관을 가져야 한다. 하지만 때로는 반대의 의견을 이겨내고 과업을 달성해야 할 수도 있는데 때로는 세종대왕은 ‘독단위지(獨斷爲之)’ (반대를 무릅쓰고 추진해야 하는 일도 있다)를 발휘해 과업을 추진하기도 했다. 특히 기득권의 반대로 좌초될 것이 예상되는 경우에는 반대를 무릅쓰고 강행하기도 하였다.

1
“무릇 일이 의심나는 것은 여러 사람에게 의논하지마는,의심이 없는 것은 독단으로 하는 것이다”
  1. 파저강 토벌 감행 : 신하들이 모두 반대함

  2. 훈민정음 창제

1
"내가 여러가지 일에서 다수의 의논을 좇지 않고, 대의를 가지고 강행한 적이 자못 많다. 수령육기, 양계축성, 행수직을 자급에 따르는 등의 일은 남들은 다 불가하다고 하는것을 내가 홀로 여러 사람의 논의를 배제하고 행했다(세종실론 26/윤7/23)"
  1. 수령 육기제를 개혁하여 공무원 장기 근무제 시행

  2. 북방영토 경영(양계축성)

  3. 관료제의 탄력적 운영을 위한 ‘행수법’ 시행

세종대왕의 ‘포용력’

세종대왕의 리더십을 통해 지금 우리는 무엇을 해야 하는가

리더십관리기술(https://purumir.github.io/2019/09/29/리더십-관리-기술/) 에서 밝혔듯이 ‘밀레니얼 세대’는 ‘자기자존감’을 중요시 생각하고, 또한 매뉴얼 세대로써 정확하지 않은 업무지시에는 따르지 않는 경향이 있다. 이러한 세대와 함께 일하기 위해서 세종대왕의 리더십중 두가 항목을 적절하게 병행하여 리더십을 발휘해야 할 것이다.

  1. 선별적 카리스마 리더십

    • 독단위지(獨斷爲之)라는 말에서 드러나듯 모든 사안에 대해서 부하의 말을 듣고 같이 일하는 사람들의 의견을 반영할수는 없는 노릇이다. ‘사공이 많으면 배가 산으로 간다’는 속담은 괜히 나오는 말이 아닐 것이다. 따라서, 그 효익이 매우 큰 사안에 대해서는 리더가 의견을 청취한 후에 방향을 설정하는 태도가 필요하다
  2. 선택적 임파워먼트(Empowerment)

    • 한때 리더십의 형태로 ‘서번트 리더십’이 유행한 적이 있다. 이전 회사에서도 조직운영 표어로 ‘서번트 리더십’이 유행한 적이 있다. 하지만 최근의 리더십은 보다 대등한 입장에서 권한을 위임하고 존중하는 형태의 리더십을 요구하고 있다. 매뉴얼 세대의 특징에 맞게 강한 거부감을 느끼거나 하는 사안에 대해서는 리더가 방향을 제시하되, 특정 사안에 대해서는 ‘선택적 권한이양’을 적극적으로 수행할 필요가 있다.

4자성어로 살펴보는 세종대왕의 리더십

1
2
3
애인여기
남을 자기 몸처럼 사랑하라. 내 몸과 마음을 대하듯 남또한 소중이 여기면 그의 마음을 얻을 지어다.
노래 소리가 듣기 싫다 하여 새를 죽이려 함은 옳지 않다.
1
2
적재적소
나뭇잎에 꽃이 달릴수 없듯 나뭇가지 끝에는 뿌리가 뻣어갈수 없다.
1
2
군자표현
들판의 한조각도 세월의 흐름을 따라 모양이 바뀌듯이 자신의 허물도 빠르고 또렷하게 고치어 올바름을 행할 지어다.

회식으로 단합을 유도하고, 회사내 유통되는 정보를 통제하여 부하를 통솔하는 시대는 이미 지나가고 있다. 직장 상사가 보고하러 들어가면 실시간으로 카톡으로 상황이 중계되다 시피 하고, 조직내 벌어지는 수 많은 사건들이 발생과 동시에 퍼져나가는 것이 현재의 Hyper-connected 사회이다. 개방성을 강화하면서 리더십의 최선이 무엇인지를 생각해야 할 시대에 우리는 살고 있다.

구간평균법, 지수평활법(exponential smoothing)

시계열(timeseries) 데이터 구성 요소

시계열 데이터는 ‘추세변동’, ‘순환변동’, ‘계절변동’,’우연변동’ 같은 구성요소를 가집니다.

  • 추세변동(Trend)

    시계열 데이터의 방향성

  • 순환변동(Cycle)

    시계열 데이터의 진폭을 동반한 데이터의 fluctuation

  • 계절변동(seasonal variations)

    4계절을 기준으로 각 계절에서 데이터의 fluctuation

  • 우연변동(random movement)

    특별한 사유없이 갑작스러운 데이터의 fluctuation

시계열(timeseries) 데이터 Smoothing(평활법)


시계열 데이터 평활법에는 ‘구간평균법’, ‘지수평활법’이 존재하며, ‘지수평활법’에는 ‘단순지수평활법’,’이중지수평활법’, ‘홀트-윈터지수평활법’이 존재합니다.

  • 구간평균법(Moving Average)

    과거(past) 시점의 일정기간(N)의 평균으로 다음 시점을 예측하는 방법으로 과거 정보의 평균만으로 미래를 예측하기 때문에 정확도가 높다고 보기 어려운 평활법입니다.

    smoothing을 위한 절차는 다음과 같습니다.

    1) 일정기간(N)을 결정

    2) 과거 일정기간(N) 동안 데이터 평균치를 계산

    3) 예측(Predict)

    구간지수 평활법 사례는 아래와 같습니다. N=3으로 할경우 다음과 같은 구간 평균치와 예측값을 구할수 있습니다.

    일종의 moving average형태라고 할 수 있습니다.

    구간평균법은 과거 모든 데이터에 대해서 동일한 가중치를 주기 때문에 미래의 예측값이 모두 동일하게 되는 한계를 가집니다. 그리고 N을 작게 설정할 경우 최근 데이터의 경향을 많이 반영하게 되고, N을 크게 설정할 경우 과거 데이터의 경향을 많이 반영하게 되어 smoothing하게 예측하게 됩니다.

timestep dataset 구간평균치 예측값
0
1 10
2 20
3 30 20
=(10+20+30)/3
4 40 30
=(20+30+40)/3
5 50 40
=(30+40+50)/3
1 40
(마지막 레벨 계산값이 예측치)
2 40
1
2
3
4
5
6
7
8
9
import pandas as pd

df = pd.DataFrame({'dataset': [0, 10, 20, 30, 40, 50]},columns=['dataset'])

def moving_avg(dframe, t, n=3):
predict = (1/n)*sum(row['dataset'] for i, row in dframe.iloc[(t-1)+1-n:t+1,:].iterrows())
return predict

moving_avg(df, 6 , n=3) # 40이 출력된다.
  • 지수평활법(Exponential Smoothing)

    지수 평활법은 구간평균값과 달리 가중평균(weighted average)을 사용하는 기법으로 지수적인 모양에 따른 가중치를 결정합니다. 이것을 이용하여 최신성을 가지는 데이터에 보다 많은 가중치를 부여하고, 과거 데이터일수록 적은 가중치를 부여합니다.

    • 단순지수 평활법(Simple Exponential Smoothing)
    • 이중지수 평활법(Double Exponential Smoonthing)
    • 홀트-윈터 지수 평활법(Holt-Winter Exponential Smoothing)

cs224n-Lecture 1(Introduction and Word Vectors)

Lecture 1(Introduction and Word Vectors)

전통적인 NLP

  • 단어를 discrete한 심볼로 생각 (one-hot vector)
  • Localist Representation
  • 영어는 단어를 무한대로 만들 수 있기 때문에 very 큰 vector size 필요 (50만)
  • 또한 “모텔”과 “호텔”은 비슷한 단어지만 one-hot vector는 오쏘고널
    • 자연적인 연관성 없음

SVD based methods

  • 간단 설명
    • 고정된 size의 window를 이용해 특정 단어 주변에 나타나는 단어들의 수를 표현한 co-occurrence matrix를 만듦
    • 이것을 SVD를 통해 차원을 줄여 word vector로 만든다..
  • 단점
    • 단어가 추가될 때 마다 matrix의 차원이 계속 바뀐다
    • matrix가 극단적으로 sparse하다. (대부분의 단어가 co-occur 하지 않아서)
    • 차원수가 엄청나게 높다 (10^6*10^6)
    • 학습에 쿼드라틱 코스트 (O(N^2)?) 가 든다. (SVD) 등등

최근 NLP

  • Distributional Semantics
    • The only difference between localist and distributed representation is whether individual units have “meaning and interpretation” or not.
  • 컨텍스트에서 나타나는 것에 따라 의미 (좌우문맥)
  • Word vector = [0.285, -0.332, …, 0.271]
    • Dense vector (차원수 많아 야 4000)
    • =워드임베딩, 워드리프리젠테이션
    • 비슷한 뜻의 단어는 거리가 가깝다

Word2Vec(2013)

  • 엄청큰 말뭉치 있음
  • 모든 단어는 벡터로 표현
  • 모둔 단어는 포지션 t를 갖는데, 가운데인 c와 콘텍스트(바깥쪽)인 o 를 가짐
  • Main Concept
    • 모든 Word는 각각의 Word Vector를 가진다
    • 여기에선 Center Word일 때와 Context Word일 때 두 개의 Vector를 가짐 (v->center,u->context)
    • 좌우 문맥(Context)를 통해 단어를 추정하는 과정에서 Word Vector 추정
  • Likelihood

​ m => window size

​ t => each position

Likelihood가 최대가 되는 theta를 찾는다

  • P(x|y) y가 일어났을 때 x의 확률
  • Objective Function

    • theta를 최적화 하기 위한 Function

    • = Loss Function

      • 음수인 이유는 maximize가 아니라 minimize 하기 위해
      • log는 L(theta)의 곱을 합으로 바꿔주기 위해 (-> 계산 쉬워지라고)
      • log : underflow 막기 위해
      • T로 나누는 이유는 Average를 취하기 위해
  • P(o|c)

    • Softmax Function
      • max => 여러 개의 x_i 중 가장 큰 확률을 증폭
      • soft => 작은 x_i에도 확률 부여
    • 결론 : P(o|c)는 o와 c의 유사도의 softmax function
  • Optimization

    • theta는 model의 모든 parameter

    • 크기 d-dim 2V-length (word vector이 context, center 두개가 있으므로)

    • Derivative of Objective Function

  • Vector Composition
    • 이렇게 만들어진 Word Vector들은 Vector Composition 가능
    • ex) Queen - Woman + Man = King
  • Two model variants
    • Skip-grams : center word로 context word 예측 -> 현재 한 방법
    • Continuous Bag of words : context word로 center word 예측 : 적은 DB에서도 잘 작동한다.

리더십 관리 기술

시간이 지나면서 위 아래로 같이 일하는 사람이 늘어나면서리더십이 무엇인가에 대해서 생각을 하게 된다.

‘Leadership(Theory, application & Skill Development/Robert N. Lussier et.al.)에서 구분하고 있는 관리기술 구분을 토대로 이러한 내용을 기술해본다.

리더십의 형태는 무엇보다 시대 흐름에 따라 달라지고 있다. 과거 내가 직급이 낮을때 리더들의 모습은 고함을 치거나 위계적인 모습을 나타내는 분들이 많았다. 소위 갈군다는 느낌을 주는…

  • generation에 대한 이해
    ‘90년생이 온다.’ ,’요즘것들’이라는 책들이 나올만큼 과거 일제 시대, 전후 세대, 민주화 세대가 아닌 새로운 세대들이 회사의 신규 인력으로 유입되고 있다. 그들의 특징은 부모의 전폭적인 지원과 아쉬움 없는 경제력을 경험한 세대들이 대부분이고, 이런 전혀 다른 세대와 일을 하는 것은 조직의 목표를 설정하고, 변화를 통해 이러한 목표를 달성함에 있어 과거와는 다른 형태를 띄어야 함을 의미한다. 가장 큰 차이점은 세상의 중심은 ‘me’라는 그들의 태도에 맞춰 조직의 목표와 개인의 목표의 alignment에 있어 세심함이 요구된다고 생각된다.

  • professional skills
    또한, 중요한 것은 그들과 전문적인 수준의 대화가 가능할 정도의 전문적 지식을 갖추는 것이다. 이 세대들의 특징은 태어날때부터 스마트폰을 경험한 세대들이고, 특정 정보가 맞다 아니다를 검색을 통해 실시간으로 확인하는 세대이다. (무엇인가를 기억하는 세대가 아니라 검색하는 세대이다.) 또한, 그것이 틀렸다고 관리자들의 앞에서 말하는데있어 주저함이 없는 세대이기도 하다. 따라서, 과거 관리자들의 우기는 방식이다던가 채널의 독점을 통한 사내 정보 유통의 폐쇄성은 더 이상 통하지 않는 세대들이다. 즉, 권위에 의한 리더십이 아닌 수평적이면서도 그들 세대와 discussion을 할수 있을 정도의 전문적 지식을 습득해야 한다.

  • interpersonal skills
    어떠한 일을 추진함에 있어서도 단독으로 하는 일은 점점 줄어들고 있다. 날로 복잡해지는 프로세스와 부침을 거듭하는 기술의 tracking은 혼자만의 힘으로는 어려운 상황이다. 따라서, 그러한 개별지식을 가진 사람들과의 협력을 통한 일의 추진은 무엇보다 중요하다. 따라서, 리더가 되기 위해서는 개별 전문지식뿐만 아니라 ‘대인관계 기술’의 중요성이 점점 중요해진다고 할 수 있다. 즉, 대화 스킬을 통해 서로 다른 직군(가령 Product Manager와 엔지니어)이 이야기하는 서로 다른 관점에서의 wording을 해석하고 조율하는 능력이 무엇보다 중요하다.

  • decison-making skills
    마지막으로, 어떤 사안에 대한 추상적이고 개념적인 이해 능력이 중요하다고 할 수 있다. 상당히 많은 회사내에서 벌어지는 일들은 비정기적이며 정치적으로 이루어지고, 관념적인 방향에서 이루어진다고 한다. david rubenstein show를 보면 경영자들의 high level에서의 관점이 다소 이질적으로 느껴지기도 하는데, 고직급이 될수록 개별 사안을 종합적으로 그리고 추상적으로 바라보는 능력이 중요하다고 할 수 있다. 이러한 판단을 위해서는 재무적 관점, 인사적 관점, 윤리적 관점등 다방면에 대한 정보의 결합을 통한 해석 및 인지 능력이 필요하다.


밀레니얼 세대에 대한 다음의 말을 끝으로 글을 마친다.

1
"90년생 그들은 일과 삶의 균형을 중요시 여기고, 일터에서도 즐거움을 잃지 않으려고 한다."