[빅데이터] 빅데이터 조직 및 인력

1) 빅데이터 조직 설계

빅데이터 서비스 도입 및 운영조직을 구성하기 위해서는 빅데이터 업무 프로세스를 이해하고, 조직의 특성을 고려하여야 한다.

① 빅데이터 업무 프로세스

단계	설명
빅데이터 도입 단계	빅데이터 서비스를 제공하기 위해서는 빅데이터 시스템 구축을 위한 빅데이터 도입 기획, 기술 검토, 도입 조직 구성, 예산 확보 등을 수행
빅데이터 구축 단계	빅데이터 플랫폼을 구축하기 위해서는 요구사항 분석, 설계, 구현, 테스트 단계를 수행
빅데이터 운영 단계	빅데이터 시스템의 도입 및 구축이 끝나면, 이를 인수하여 운영 계획을 수립 빅데이터 플랫폼 운영, 데이터 및 빅데이터 분석 모델 운영, 빅데이터 운영 조직, 빅데이터 운영 예산 고려

② 조직 구조 설계의 요소

㉮ 조직 구조 설계

요소	설명
업무활동	조직의 미션과 목적을 당설하기 위하여 과업 수행을 위해 수직 업무 활동과 수평 업무 활동으로 구분 - 수직 업무 활동 : 경영 계획, 예산 할당 등 우선 순위를 결정 - 수평 업무 활동 : 업무 프로세스 절차별로 업무를 배분
부서화	조직의 미션과 목적을 효율적으로 달성하기 위한 조직 구조 유형 설계 조직 구조 유형은 집중 구조, 기능 구조, 분산 구조로 분류
보고 체계	조직의 목표 달성을 위하여 업무 활동 및 부서의 보고 체계를 설계

 

㉯ 조직 구조 유형
빅데이터 조직 구조의 유형은 집중 구조, 기능 구조, 분산 구조가 있다.

유형	설명
집중 구조	전사 분석 업무를 별도의 분석 전담 주직에서 담당 전략적 중요도에 따라 분석조직이 우선순위를 정해서 진행 가능 현업 업무부서의 분석 업무와 중복 및 이원화 가능성이 높음
기능 구조	일반적인 형태로 별도 분석조직이 없고 해당 부서에서 분석 수행 전사적 핵심 분석이 어려우며 과거에 국한됨 분석 수행
분산 구조	분석조직 인력들을 현업 부서로 직접 배치해 분석 업무를 수행 전사 차원의 우선순위 수행 분석 결과에 따른 신속한 피드백이 나오고 베스트 프렉티스 공유가 가능 업무 과다와 이원화 가능성이 존재할 수 있기에 부서 분석 업무와 역할 분담이 명확해야 함

③ 조직 구조의 설계 특성

조직 구조를 설계할 때는 공식화, 분업화, 직무 전문성, 통제 범위, 의사소통 및 조정 등의 특성을 고려한다.

특성	설명
공식화	업무의 수행 절차, 수행 방법, 작업 결과 등의 기준을 사전에 설정하여 공식화
분업화	조직의 목표 달성을 위하여 업무 수행 시 업무를 분할하여 수행 업무의 성격에 따라 여러 단위로 나누는 수평적 분할과 계획, 감독, 실무 업무 실행 등의 수준에 따라 나누는 수직적 분할로 구분
직무 전문화	직무 전문화는 수행업무에 활용되는 직무 선문성의 유형을 의미하며, 직무 전문성에 따라 생산성이 증대되므로 전문 지식과 경험이 중요한 요소
통제 범위	관리자가 효율적이며 효과적으로 관리할 수 있는 조직의 인원수
의사소통 및 조정	업무 수행 시 의사소통능 업무의 지시, 보고, 피드백 등 수직적인 활동과 문제 해결을 위한 협업 등 수평적인 활동으로 구분

 

2) 조직 역량

① 조직 역량 개념

조직 역량은 조직 구성원의 역량을 확보하여 조직 구성원들이 조직이 기대한 성과를 낼 수 있도록 하는 중요한 요소이다
기업이나 조직을 지속적으로 경영하기 위해서는 조직 역량의 확보가 필수적이다.

 

② 조직 역량 모델링

기업이나 조직의 목표달성을 위해서는 우수 성과자의 기여가 중요한 요소이다.
우수 성과자의 행동 특성을 파악하여 타 조직원에게 전달 및 공유하면 조직의 목표를 달성하기 쉬워진다.
우수 성과자의 행동하는 특성을 파악하여 업무 달성을 위한 지식, 스킬, 패도 등 직무 역량 요소들을 도출하여 직무별 역량 모델을 만든다.
데이터 사이언스를 수행하는 데이터 사이언티스트의 요구역량에는 소프트 스킬(Soft Skill)과 하드 스킬(Hard Skill)이 있다.

>데이터 사이언티스트 요구 역량

역량	설명
소프트 스킬(Soft Skill)	모든 직무에서 사용할 수 있는 기술
하드 스킬(Hard Skill)	해당 업무를 수행하기 위해 필요한 실질적인 기술

>데이터 사이언티스트 요구 역량 상세

구분	스킬	설명
소프트 스킬(Soft Skill)	여러 분야의 협업 능력	커니케이션 능력
	분석의 통찰력	논리적 비판 능력, 창의적 사고력, 호기심
	설득력 있는 전달력	스토리텔링 능력, 비주얼리이제이션
하드 스킬(Hard Skill)	분석기술의 숙련도	목적에 맞는 최적 분석 설계, 노하우 축적
	빅데이터 관련 이론적 지식	빅데이터 관련 기범 및 다양한 방법론 습득

가트너는 데이터 사이언티스트가 갖추어야 할 역량으로 분석 모델링, 데이터 관리, 소프트 스킬, 비즈니스 분석을 제시했다.

 

③ 데이터 분야 직무별 업무

데이터 엔지니어, 데이터 분석가, 데이터 사이언티스트에 대한 직무별 업무는 다음과 같다.

구분	직무별 업무
데이터 엔지니어 (Data Engineer)	비즈니스를 이해하고 대량의 데이터 세트 가공 하둡, 스파크 등을 이용해 대용량 데이터 분산 처리 시스템 개발 시스템 개발에 필요한 프로그래밍 언어 사용 스킬 필수
데이터 분석가 (Data Analyst)	최적의 의사결정을 내리는 데 도움을 주는 비즈니스 인사이트 제공 데이터의 경향, 패턴 이상치 등을 인식하기 위한 시각화 진행, 보고서 작성 비즈니스 팀과 연계해 각 팀의 전략을 수립하거나 업무 효율화에 필요한 데이터 수집 및 분석
데이터 사이언티스트 (Data Scientist)	머신러닝 모델을 사용해 정형, 비정형 데이터에서 인사이트 창출 사내 데이터를 이용해서 고객 행동 패턴 모델링 진행, 패턴을 찾아내거나 이상치 탐지 예측 모델링, 추천 시스템 등을 개발해 비즈니스 의사결정에 필요한 인사이트 제공

 

3) 데이터 거버넌스

① 데이터 거버넌스(Data Governance) 개념

기업에서 사용하는 데이터의 가용선, 유용성, 통합성, 보안성을 관리하기 위한 정책과 프로세스를 다루면 프라이버시, 보안성, 데이터 품질, 관리 규정 준수를 강조하는 모델이다.

 

② 데이터 거버넌스 구성요소

데이터 거버넌스의 구성요소는 원칙, 조직, 프로세스 등으로 구분된다.

구분	설명
원칙 (Principle)	데이터를 유지·관리하기 위한 지침과 가이드 품질기준, 보안, 변경관리
조직 (Organization)	데이터를 관리할 조직의 역할과 책임(R&R; Role & Responsibility) 데이터 관리자, 데이터베이스 관리자(DBA), 데이터 아키텍처 등
프로세스 (Process)	데이터 관리를 위한 활동과 체계 작업 절차, 모니터링 활동, 측정 활동 등

 

③ 데이터 거버넌스 체계

데이터 표준화, 표준화 활동, 데이터 관리 체계, 데이터 저장소 관리로 구분된다.

구분	설명
데이터 표준화	데이터 표준 용어 설명, 명명 규칙, 메타데이터 구축, 데이터 사전 구축 데이터 표준 준수 진단, 논리·물리 모델 표준에 맞는지 검증
표준화 활동	데이터 거버넌스 체계 구축 이후 표준 준수 여부를 주기적으로 점검 및 모니터링 실시
데이터 관리 체계	메타데이터와 데이터 사전의 관리 원칙 수립
데이터 저장소 관리	메타데이ㅣ터 및 표준 데이터를 관리하기 위한 전사 차원의 저장소 구성

4) 분석 준비도(Readiness)

분석 준비도는 기업의 데이터 분석 도입의 수준을 파악하기 위한 진단 방법이다.

① 데이터 분석 준비도 프레임워크

분석 업무 파악, 분석 인력 및 조직, 분석 기법, 분석 데이터, 분석 문화, IT 인프라의 총 6가지 영역이 있다.

영역	상세 영역
분석 업무 파악	발생한 사실/예측/시뮬레이션/최적화 분석 업무 분석 업무 정기적 개선
인력 및 조직	분석 전문가 교육 훈련 프로그램 관리자들의 기본적 분석 능력 전사 분석 업무 총괄 조직 존재 경영진 분석 업무 이해 능력
분석 기법	업무별 적합한 분석 기법 사용 분석 업무 도입 방법론 분석 기법 효과성 평가 및 정기적 개선
분석 데이터	분석 업무를 위한 데이터 충분석/신뢰성/적시성 비구조적 데이터 관리 외부 데이터 활용 체계 기준 데이터 관리
분석 문화	사실에 근거한 의사결정 관리자의 데이터 중시 회의 등에서 데이터 활용 데이터 공유 및 협업 문화
IT 인프라	운영 시스템 데이터 통합 EAI, ETL 등 데이터 유통 체계 분석 전용 서버 및 스토리지 빅데이터 분석 환경/통계 분석 환경/비주얼 분석 환경

 

② 조직평가를 위한 성숙도(Maturity) 단계

기업의 분석 수준은 성숙도 수준에 따라 달라진다.
조직평가를 위한 성숙도 단계는 4단계로 도입 단계, 활용 단계, 확산 단계, 최적화 단계로 되어 있다.
성숙도는 비즈니스 부문, 조직·역량 부문, IT 부문을 대상으로 성숙도 수준을 평가한다.

단계	설명	조직·역량 부문
도입 단계	분석을 시작해 환경과 시스템을 구축하는 단계	일부 부서에서 수행 담당자 역량에 의존
활용 단계	분석 결과를 실제 업무에 적용하는 단계	전문 담당 부서에서 수행 분석 기법 도입 관리자가 분석 수행
확산 단계	전사 차원에서 분석을 관리하고 공유하는 단계	전사 모든 부서 수행 분석 전문가 조직(CoE) 운영 데이터 사이언티스트 확보
최적화 단계	분석을 진화시켜서 혁신 및 성과 향상에 기여하는 단계	데이터 사이언스그룹 경영진 분석 활용 전략 연계

 

③ 개선 방안 수립

성숙도와 준비도에 따라 4가지 유형으로 구분하여 분석 수준에 대한 목표 방향을 정의하고 개선 방안을 수립한다.

사분면 분석

유형	설명
준비형	데이터 분석을 위한 낮은 준비도와 낮은 성숫도 수준에 있는 기업 기업에 필요한 데이터 인력, 조직, 분석 업무, 분석 기법 등이 적용되어 있지 않아 사전준비가 필요한 기업
정착형	준비도는 낮으나 조직, 인력, 분석 업무, 분석 기법 등을 기업 내부에서 제한적으로 사용하고 있어 일차적으로 정착이 필요한 기업
도입형	기업에서 활용하는 분석 업무, 기법등은 부족하지만 적용조직 등 준비도가 높아 바로 도입할 수 있는 기업
확산형	기업에 필요한 6가지 분석 구성요소를 갖추고 있고, 지속적인 확산이 필요한 기업