맛있는 데이터

무역 천재가 된 홍대리

지은이 : 이기찬

출판사 : 다산북스

발행일 : 2010년 4월 26일

[후기]

 어렵게 느껴지는 무역에 대한 이야기를 미래전자 소속 국내영업 담당 홍대리라는 주인공이 좌충우돌하며 무역을 통해 회사를 구사일생하는 소설이다. 사무실의 등장인물들 사이에서 이뤄지는 대화가 술술 쉽게 읽힌다. 무역을 쉽게 다가갈 수 있도록 한 본연의 목적에 충실했다.

덕분에 하루 출퇴근 시간에 볼 수 있었다. 내용도 무겁지 않으면서 무역이라는 방대한 이론에 치중하기 보다는 회사 실무에서 이뤄지는 상황과 무역사기등 꽤나 그럴싸한 스토리를 담고있다.

물론 대학생때 흠모했던 대학후배가 갑자기 등장하고 알고 보니 그 후배의 아버지가 무역의 대가여서 무역을 배우며 회사를 구해내고 영웅이 되는 과정에서 둘간의 로맨스는 다소 손발이 오그라든다. 하지만 그만큼 뻔한 이야기였기에 더 쉽게 읽혔는지도 모른다.

짧은 소설에 한국에서 무역의 당위성과 무역의 주요포인트 그리고 위험한 점 등을 대화를 통해 알려준다. 어려운 무역이론책을 처음 접하기보다 이 스토리를 먼저 접하는 것이 어쩌면 더 재미있게 무역입문을 할 수 있을지도 모른다. 무역 입문서라고 하기보다 입문 전 단계 무역과 친해지기 단계가 더 맞는 것으로 보인다. 어떤 무역지식을 얻어 가기에는 내용이 매우 적다. 

무역에 대해 전혀 아는것이 없는 상태에서 무역이 무엇인지 이제 알아가려고 하는 분에게는 적극 추천한다.

[책에 소개된 무역지식 요약]

1. 우리나라 무역의존도는 90퍼센트를 넘었다. (무역의존도 : GDP에서 수출과 수입을 합친 총 무역액이 차지하는 비중)

2. 거래조건의 80%정도는 FOB, CIF 이다. (FOB : 선적항까지의 운송비 포함, CIF : 도착항까지의 운송비 포함)

3. 결제방식의 대부분은 L/C, T/T 이다. (L/C : 신용장 거래, T/T 전신환 거래)

4. 바이어를 개발하기 위해 인터넷무역거래 알선 사이트를 통하거나 kompass, kotra 를 활용한다.

5. 바이어를 개발하기 보다 제대로 된 바이어를 만나기가 힘들다.

6. 바이어에게 order 를 받으면 proforma invoice 를 발행하여 거래 조건과 방식을 기재한다.

7. 일반적인 무역거래에서 공통적으로 준비하는 서식은 commercial invoice, packing list, bill of lading 이다. (항공운송일 경우 airway bill)

8. 거래조건 CIF 일 때는 수출자가 보험회사로부터 insurance policy (보험증권) 을 받아야 한다. 경우에 따라서는 상공회의소나 세관에서 certification of origin(원산지 증명) 을 받기도 한다.

9. 성공적인 협상을 위한 7가지 방법 : 기선을 제압하라. 상대방의 마음을 읽어라. 주고받아라. 서두르지 마라. 경쟁심을 자극하라. 상대방을 코너로 몰지 말아라. 끝날때 더 잘하라.

10. 무역업무의 흐름 : (1) 아이템 및 거래처 개발 (2) 상담 및 계약 (3) 운송,보험,통관

9가지 사례로 익히는 고급 스파크 분석 (Advanced Analytics with Spark)

OREILLY

한빛미디어

샌디라이자, 유리 레이저슨, 션 오언, 조시 윌스 지음

박상은, 권한철, 서양주 옮김

제목 그대로 Chapter 1,2 는 빅데이터와 spark 에 대한 설명을 하고 이후에는 9가지 사례에 따른 실제 분석모델 예시를 설명해주는 책입니다.

책을 보는 순서가 약간 엇갈려 scala 보다 조금 먼저보게 되었는데 최소한 spark 나 scala 를 써보고 난 다음에 책을 보는것을 추천드립니다. 기본적인 지식없이 이해하기는 좀 어려운면이 있으며 오레일리 특성상 초심자가 이해하기 쉽도록 친절히 설명해주는 책은 아니니까요. 어느정도 이 분야에 있는 사람을 위한 책입니다.

아파치 스파크는 클러스터의 여러 노드로 프로그램을 분배하고, 그 위에서 동작하는 프로그램을 개발할 수 있도록 하는 오픈 소스 프레임워크입니다.

맵리듀스랑 비교하면 3가지 개선점이 있습니다.

1. 맵리듀스의 선형 확장성과 결함 허용성을 유지하면서 맵리듀스의 임시결과를 파일시스템에 저장하지 않고 바로 다음단계 프로세스로 진행할 수 있습니다.

2. 사용자가 연산을 쉽게 하도록 개발자 중심의 간소화된 API를 제공합니다.

3. 인메모리 처리방식으로 RDD(Resilient Distributed Dataset) 탄력적 분산데이터셋 이라는 추상개념으로 개발자가 처리 파이프라인의 어느 지점이라도 데이터를 클러스터의 메모리로 저장할 수 있도록 합니다. 이는 과거와 달리 같은 데이터를 사용하기 위해 데이터를 재연산하거나 디스크로부터 다시 읽을 필요가 없다는 이야기입니다.

스파크는 JVM 위에서 수행하기 때문에 자바 스택에서 돌아가는 운영, 디버깅 도구를 활용할 수 있습니다.

스파크는 하둡 생태계의 다양한 도구와 통합하기 좋습니다. 맵리듀스가 지원하는 모든 데이터포맷을 읽고 쓸 수 있고 Avro, Parquet, CSV 파일을 사용할수 있습니다. HBase 카산드라 와 같은 NoSQL DB를 사용할 수 있으며 스파크 스트리밍 라이브러리는 Flume이나 Kafka 로부터 스트림 데이터를 입력받을 수 있습니다.

스파크에 대한 특징은 위와같이 간략하게 개요만 설명하였고 상세한 내용은 다른책을 참고하라는 친절한(?) 가이드가 있습니다. 다만 RDD 에 대한 내용은 여러차례 강조를 한 부분이기에 간략히 정리해 놓습니다.

탄력적 분산 데이터셋(RDD)

RDD는 클러스터의 여러노드에 파티션으로 나뉘어 분산되며, 각 파티션은 RDD의 전체 데이터 중 일부를 담게된다.

파티션은 스파크에서 병렬 처리되는 단위다.

스파크 프레임워크는 한 파티션 안의 객체들을 순차적으로 처리하고, 파티션 단위로는 병렬로 처리한다.

RDD를 생성하는 아주 간단한 방법은 로컬 객체 컬렉션을 인수로 SparkContext 의 parallelize 메서드를 실행하는 것이다.

소개이후 인상적인 부분 요약

1. 스파크는 시각화 도구를 제공하지 않는다. R을 통한 시각화

2. 위키백과 이해하기는 LSA(숨은의미분석) 과 NLP(자연어처리) 기술로 처리한다.

3. 분산시스템인 스파크는 작업 대상 자바 객체들을 자주 직렬화 한다. 하지만 대부분의 경우에 자바직렬화 대신 Kryo 직렬화를 추천한다. 더 빠르고 더 촘촘한 포맷이기 때문이다.

4. 어큐뮬레이터는 잡이 실행되는 동안 부가적으로 몇몇 통계량을 수집해주는 스파크 구조체이다.

5. 예제는 textFile 을 사용하지만 대규모 데이터셋을 저장할때는 공간도 덜 차지하고 형태를 강제할 수 있는 바이너리 형식을 권장한다.

6. 현재 활발히 진행되는 스파크 하위프로젝트는 MLlib, 스파크 스트리밍, 스파크 SQL, 그래프엑스 가 있다.

책에서의 각 챕터로 구성된 예제 제목

1. 오디오스크로블러 데이터셋으로 음악 추천하기

2. 의사 결정 나무로 산림 식생 분포 예측하기

3. K-평균 군집화로 네트워크 이상 감지하기

4. 숨은 의미 분석으로 위키백과 이해하기

5. 그래프엑스로 동시발생 네트워크 분석하기

6. 뉴욕 택시  운행 데이터로 위치 및 시간 데이터 분석하기

7. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기

8. BDG 프로젝트와 유전체학 데이터 분석하기

9. 파이스파크와 썬더로 신경 영상 데이터 분석하기

구글은 어떻게 일하는가

저자: 에릭 슈미트, 조너선 로젠버그, 앨런 이글 / 박병화 옮김

원제: How Google Works

페이지: 400

출판사: 김영사

이 시대 혁신의 대명사 구글. 그런 구글이 어떻게 일하는지에 대한 이야기이다. 제목부터 강하게 호기심을 불러일으키고 무엇보다 에릭 슈미트가 직접 썼다는 것에서 한번쯤 궁금해 봤을법한 내용이다. 책을 보는 내내 에릭이외에 래리 페이지와 세르게이 브린 (구글 공동 창업주) 의 강한 존재감을 지울수 없었다.

구글의 검색기술력은 지금 구글신이라는 말이 있듯이 신으로 추앙받기도 한다. 그만큼 검색에 있어서 따라올자가 없다는 내용의 반증일 것이다. 물론 국내 검색서비스 네이버, 다음, 네이트가 있긴 하지만 구글은 뭔가 검색시장에서 앞의 3사와는 다른 리그에 속한 느낌이 든다. 필자조차도 뭔가 전문적인 검색이 필요할때는 구글을 이용하고 한국적인 검색, 이를테면 이용후기, 지도검색, 블로그 검색, 쇼핑 과 같은 것을 검색할때는 국내검색서비스를 이용한다. 무언가 전문적인 분야에서의 신뢰감. 구글은 그런 신뢰감을 가진 회사였다.

전반적으로 회사내부의 조직간에 일어나는 이야기들이 많이 있어 사회경험을 해보지 않은 사람들에게 공감을 얻기 조금 어려울거 같은 기분이 들었다. 필자야 회사원이기 때문에 중간중간 크게 공감하거나 대부분 회사에서 상상하기 어려운 조직문화를 발견하고는 믿을 수 없이 크게 놀란 부분이 있다. 하지만 만약 내가 회사원이 아닌 학생 신분으로 이 책을 읽었을때 흥미롭게 볼 수 있었을까? '아 구글은 이렇구나' 정도까진 느꼈을 것 같다.

적지 않은 직장동료들이 이 책을 읽고 허탈감과 분노를 느끼기도 하였다. 왜냐하면 구글의 이런 자유분방한 문화 실무(엔지니어)중심의 문화와 자신의 직장문화가 비교되면서 더욱더 안타까움을 자아내기 때문이다. 책을 다 보고나면 긴 탄식과 함께 짜증이 날 수도 있다. 의도치 않게 스트레스를 주는 것이다. 그 정도의 부러운 조직문화를 가지고 있는 회사가 구글이었다.

래리 페이지와 세르게이 브린이 엔지니어로써 창업주로써 지금까지 회사를 책임지고 있기 때문에 이런 문화가 가능하리라 본다. 전통적인 조직을 가지고있는 회사, 그러니까 경영진 밑에 거대한 관리조직이 있고 그 밑에 관리조직으로 부터 완벽한 제어를 받는 실무조직이 있는 회사와 너무나 많은 것이 다르다. 일하는 방식, 조직구조, 의사결정 방식 등등 그야말로 별천지세계의 회사이다.

책에서 소개된 일화를 하나 설명하자면 제품관리의 노련한 경영자 조너선이 구글에 들어오고 얼마 지나지 않아 창업주들과 부딪치게 되었다고 한다. 조너선은 게이트 기반으로 알려진 제품개발방식에 경험이 풍부했다. 게이트 기반이라는 것은, 대부분 기업에서처럼 회사의 피라미드 구조 상위로 올라갈수록 각종 평가를 거쳐 여러 관리자를 통해 다스려지는 과정과 일정표에 따라 움직이는 방식이다. 아마 대부분 국내기업들도(대부분이라 쓰고 거의 전부라 읽음) 이러한 의사결정방식을 가지고 있고 이는 거대한 사일로에서 좁은 통로를 거쳐 소규모의 각 의사결정부서로 정보가 분산되는 방식이다. 조너선은 래리에게 즉각 팀과 논의를 해봤느냐? 기술진에게 가서 말해봐라 라는 식으로 불편함을 내비치고 그 계획은 기각되었다. 구글에서는 전통적인 MBA 방식의 경영계획을 바보같은 짓이라고 하고 하지 않는다고 한다. 엄격히 통제된 계획을 받아들이지 않는다. 한국의 대부분 기업의 관리자가 보는 실무자는 늘 놀고 싶어하는 어린아이와 같은 존재들이라는 생각이 기본 밑바탕에 깔려있다. 때문에 실무자에게 자유를 부여하는것을 두려워 한다. 그리고 실무진이 어떤 멍청한 실수를 하게 됨으로써 관리자가 지게 될 책임을 두려워 한다. 그래서 그들은 언제나 통제하고 진행결과를 보고받고 싶어한다. 실은 이것이 구글과 비교해서 '멍청한 짓'이 되지만 구글처럼 훌륭한 인재로 가득찬 회사가 아닐경우 어느정도 효과도 있다고 생각한다. 조직에 뛰어난 인재가 없고 미숙련자나 경력자들이 많다면 전통적인 통제방식이 체계적인 업무로 인해 정형화된 성과를 뽑아낼 수 있을 것이다. 하지만 거기까지이다. 그 이상 성장은 없다. 그 한계를 뛰어넘어 창의적이고 혁신적인 결과를 바란다면 그러한 조직구조에서는 기대이상의 성과를 보기 어렵다. 

현재의 자동차보다 더 빠른 자동차를 만들기 위해 제작 메뉴얼대로 엔진의 출력을 높혀 속도를 일정부분 향상시킬 수는 있지만 그보다 더욱 빠른 추진력으로 하늘을 날기 위해서는 자동차 구조의 모든것을 버리고 원점에서 비행기를 새로 설계하여야 한다.

폐쇄보다 공개를 기본설정으로

1970년대 초반 서로 다른 컴퓨터 네트워크를 연결해서 소통하는 TCP/IP는 얼마나 크고 얼마나 이용될지 몰랐기 때문에 어떤 네트워크든지 이 프로토콜을 사용해 다른 네트워크와 접속할 수 있도록 하여 인터넷이 개방되었다.

1981년에 출범한 IBM PC는 개발자들과 제조자들에게 아이비엠 사용료를 지불하지 않고 어플과 부품, 복제PC를 만들수 있도록 길을 열어두어 마이크로소프트와 인텔 등 몇몇회사가 뜨고 생태계 표준으로 자리잡아 25년간 컴퓨터 플랫폼을 지배했다.

오픈소스는 모든 사람에게 특정 참여자에게 부당한 이익을 주지 않는 공평한 기회의 장이라는 것을 알려준다. 부당한 이익에 대한 의혹을 제거하면 성장이 따른다.

우수한 인력은 우수한 업무에서 그치는 것이 아니라 다시 우수한 인력을 끌어들인다. 이런 쏠림현상은 A형이  A형을 채용하는 경향이 있다면 B형은 B형 뿐만 아니라 C형과 D형까지 채용한다. 만약 채용기준을 완화하거나 실수를 해서 B형을 채용하면 회사에는 곧 C,D형이 생길 것이다.