안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

공공데이터, Naver와 같이, 오픈 API를 이용하여 제공되는 데이터가 많습니다.

대부분은 CSV 혹은 XML, JSON 형식으로 내려받아 사용할 수 있지만

일부, 그렇게 제공되지 않는 데이터들은 어떻게 해야 할까요>


Datawatch를 이용하면 쉽게 데이터를 가져와서 파일형태,

나아가서 Tableau와 바로 연결하여 사용이 가능합니다.

Datawatch의 데이터 준비 툴인, Data Prep Studio를 사용해 보겠습니다.

오늘 이용할 공공데이터는 서울 열린 데이터 광장에서 제공하는

"서울시 공공 WiFi 위치 정보" 입니다. (클릭하여 바로가기)

이 데이터는 사실 CSV, 엑셀파일로도 제공되고 있지만 이번에는 오픈 API를 사용하여

데이터를 가져와 보도록 하겠습니다.

간단히 서울 열린 데이터 광장의 이용절차에 대하여 설명드리겠습니다.

사이트에 접속하여 회원가입을 하면 위와 같은 화면을 보실 수 있습니다.

그 다음 인증키를 신청하면 아래와 같이 인증키가 나옵니다.

여기서 위의 인증키를 복사하여

http://openAPI.seoul.go.kr:8088/(인증키)/xml/PublicWiFiPlaceInfo/1/5/강남구


위의 URL의 인증키 부분에 입력하여 준비해 둡니다.

Datawatch의 Data Prep Studio를 실행 시켜준 뒤

OPEN DATA를 눌러 줍니다.

Open From Web을 누르면 위와 같은 창이 뜨고, 여기서 위의 URL을 입력해 줍니다.

그러면 다음과 같은 팝업창에서 row - 5rows를 클릭하여, 

하단의 데이터의 확인이 가능합니다.

이렇게 가져온 데이터를 Tableau로 연결하기 기능을 통하여 XML, JSON과 같은

어려운 파일 도 쉽게 Tableau로 연결할수 있는 것 입니다.

아래는 Tableau를 통해 위의 데이터를 분석한 대시보드 입니다.

추가적인 정보가 필요하시다면

저희의 공식 홈페이지로(클릭)

교육 동영상 혹은, 더 많은 볼거리가 필요하시다면

저희의 YOUTUBE 채널(클릭) 로 방문 부탁드립니다.



안녕하십니까? DFOCUS의 데이터 전문가 Qrator입니다.

태블로는 훌륭한 데이터 시각화 툴이지만

동시에

강력한 대시보드 구성 툴 이기도 합니다.

오늘은 이 "대시보드 구성"이라는 기능에 초점을 맞춰 보겠습니다.

어릴적 인터넷을 통해 공부했던, 플래시 화면과 비슷합니다.

이쯤에서 복습! 위의 대시보드는

앞전에 다루었었던

멋진 대시보드 분석하기 #1(클릭)

에서 잠깐 설명 했었듯이

"데이터가 없으면 대시보드가 나오지 않는다" 라는 점을 아주 잘 활용한 예 입니다.

우선 "레이아웃 컨테이너"를 활용해야 합니다.

원리는 이렇습니다. 가로 레이아웃 안에 2개의 콘텐츠가 담여있는 것 입니다.

좀 더 쉽게 설명하자면 이렇게 구성되는 것 입니다.

우측의 문자를 하나 누르면, 이 문자가 자체로 하나의 "필터:가 되어

그에 해당하는 내용이 나오는 것 입니다

이런 식으로 구성이 됩니다.

문자가 선택되지 않으면

이와 같이 왼쪽의 설명은 나오지 않습니다.

알고보면 원리는 정말 쉽지 않으십니까?

오늘의 포스팅은 여기서 물러가도록 하겠습니다.

만약 더 많은 정보와, 직접 문의 및 교육을 신청하고 싶으시다면

저희의 공식 홈페이지(클릭) 혹은 Youtube 채(클릭)을 이용하시기 바랍니다.


감사합니다.


안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

오늘은 자동화 (Automation) 에 대해서 이야기 하려 합니다.

자동화

뭔가 말은 멋있긴 한데, 아직은 생소하시 겁니다.

'뭘 자동화 한다는 거야?' '그거 하면 뭐가 좋은데?'

데이터에서의 자동화란, 

데이터 준비 (Data Preperation) 부터, 시각화 (Visualization) 이전 까지의 모든 과정을

일체의 수작업 없이, 자동으로 이루어지게 구성하는 것을 말합니다.

예를 들어 봅시다.

우리의 마케팅 담당자, Qrator의 Q맨이 있습니다.

우리의 Q맨은 매일 매일 올라오는 각 부서의 세일즈 보고서를 시각화여 보고해야 합니다.

물론 각 부서의 보고서의 구성이나, 파일의 형식, 확장자는 개별로 다릅니다.

물론 처음에 한두번은 괜찮습니다.

처.음.에

한.두.번.은

그래서 자동화가 필요합니다.

Datawatch Automation은 말 그대로 처음에 한두번의 작업으로

이후의 모든 작업을 자동으로 이루어지게 만들 수 있습니다.

우선 아래의 영상을 보시겠습니다.

여러분들 께서는 위와 같이, 

번거로운 업무를 자동화 함으로써

인력과, 시간, 그에 따른 업무량을 획기적으로 줄이 실 수 있게 됩니다.

자세한 내용에 대해 문의 하시려면

저희의 공식 홈페이지로(클릭)

더 많고, 자세한 영상을 보시고 싶으시다면 저희의 YOUTUBE 채널(클릭)로 방문해 주세요

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 QRATOR입니다.


태블로에서는 데이터의 표현방식을 아래와 같이 24가지(실질적으로는 19개)를 제공합니다.

그런데 뭔가 이상하지 않으십니까?

어디를 찾아봐도 위와 같은

도넛 그래프는 없다는것!

그렇다면, 위의 대시보드에서는 어떻게 도넛 그래프를 구현한 것 일까요?

사실 원리는 의외로 간단합니다.


태블로의 이중축 기능을 이용하면 됩니다.

이중축 기능이란 이렇게, 열선반 혹은 행선반의 필드 2개를

하나의 축으로

표현하는 것을 의미 합니다.

실제로 간단한 작업을 통해 도너츠 모양의 차트를 만들어 보겠습니다.

일단 두개의 차트를 준비해야 합니다.

첫 번째 축에는 파이차트, 두 번째 축에는 그냥 원으로만 이루어진 차트를 준비합니다.

(원으로만 된 차트는 파이차트를 선택하고, 각도에 측정값을 부여하지 않으시거나, 마크의 유형을 원으로만 설정하시면 쉽게 만들 수 있습니다.)

여기서 가장 중요한점은 바로 위의 파이차트보다 지름이 작은 원이어야 한다는 것 입니다.

크기를 다소 줄여주시여 합니다.

그런후에, 마지막, 축에서 "이중축" à "축 동기화"를 선택하면

위와 같이 파이차트가 완성됩니다.

조금 더 깔끔한 차트를 원하신다면 머릿글 표시를 해제하면 됩니다.

이렇게 해서 오스카 시상식을 한눈에 볼 수 있는 멋진 대시보드를 완성할 수 있습니다.

만약 Tableau에 대해 좀 더 자세히 알아 보고 싶으시다면

저희의 홈페이지(클릭)

혹은 동영상으로 보고 싶으시다면 저희의

Youtube(클릭) 로 와주시면 됩니다.

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 QRATOR 입니다.

CDC

아직은 생소한 단어일 수 있겠습니다. CDC란 Change Data Capture의 약자로써

변경데이터 캡쳐, 데이터 소스로부터 변경된 데이터를 캡쳐하여

목적이 되는 타겟 시스템에 전송하는 작업 전반을 말합니다.

'그냥 전송하고 나서 생각하면 안되?'

라고 생각하시는 분들도 계시겠지만!

데이터 관리의 효율성과, 생산상의 향상을 위해서는 CDC가 꼭 필요합니다.

오늘 소개해드릴 Information Builders의

 iWay DataMigrator CDC에서는

위의 모든 과정을 실시간으로 처리할 뿐만 아니라

중복 데이터 제거, 배치 시간을 단축, 효율적인 트랜잭션처리 까지도 이루어 집니다.

다시 말씀 드리자면

 iWay DataMigrator CDC

 는 관계형 데이터 베이스로부터 실시간으로 로그를 읽어들이고

서버에서 바로 변경된 데이터를 이용할 수 있도록 도와준다는 것 입니다.

이의 중요성은 이미 기존의 포스팅(http://dataqrator.tistory.com/20)에서

다룬 바가 있습니다.

아래에는 이에대해 더 자세이 알아보실 수 있는 동영상과 함께

저는 이만 인사 드리겠습니다.

더 알아보고 싶으신 점이 있으시다면, 이곳 저희의 공식 홈페이지를

찾아 주세요 감사합니다.



안녕하세요? DFOCUS의 Data 전문가 QRATOR 입니다.

바로 어제, 3월 24일 저희 QRATOR가 

용산 전쟁 기념관에서 열린 미래 국방 포럼에 다녀왔습니다.

행사는 전쟁 기념관 내의 뮤지엄 웨딩홀에서 진행되었습니다.

이날 저희가 소개한 솔루션은

데이터 전처리(Data Preparation) 솔루션인 Datawatch Monarch

데이터 시각화 솔루션인 Tableau 입니다.

시연을 맡아주신 김유민 전임님 이십니다.

이날 엄청난 시연 능력으로, 함께 부스에 있던 저희 마저 감동했다는 후문이...

Datawatch Monarch 와 Tableau

전혀 다른 두 회사의 솔루션 이지만, 데이터 준비에 최적화 되어있는 Monarch와

시각화를 위한 솔루션인 Tableau가 만났을 때의 시너지는 엄청났습니다.

그 두 솔루션의 캐미를 엿보실 수 있는 동영상과

행사의 사진을 마지막으로 저는 이만 물러가겠습니다.

감사합니다.

공식 홈페이지: http://www.dataqrator.com/











안녕하세요? DFOCUS의 데이터 전문가, QRATOR 입니다.

오늘 다뤄볼 주제는 ETL 입니다. Extraction, Transformation, Loading. 추출하고, 변형하여, 불러들인다.

무엇을? 데이터를!

비즈니스는 다양한 애플리 케이션과 시스템들로 구성됩니다.

그런데, 불행히도 이 각각의 구성은 서로 다른 저장소에 갇혀서 연동되지 않습니다.

그렇기 때문에 시스템 전체의 유기적인 구성을 위해서 데이터를 ETL 해야 하는 것 입니다.

오늘 사용할 툴은 Information Builders의 iWay DataMigrator 입니다.

iWay Data Migrator를 사용하면, 서로 다른 기종의 데이터 소스에서 부터

데이터를 추출하여

목적에 맞는 포맷이나 구조로 변환하고

원하는 타겟에 적재할 수도 있습니다.

그리고 원한다면 이 모든 Flow를 자동화 할 수도 있습니다.

이렇게 수 많은 데이터 소스에 접근할 수 있는 300개 이상의 어댑터를 통해 원하는 데이터에 접근이 가능합니다.

아주 간단하게 데이터 플로우를 구성하고

이기종 데이터소스를 병합 시킬 수 있습니다.

물론 이렇게 구성한 데이터가 알맞게 들어갔는지에 대한 로그 확인도 가능합니다.

이렇게 데이터를 유기적으로 구성 시킴으로서

전체 시스템을 유기적으로 구동시키는 것이 가능해 지는 것 입니다.

Information Builders와 DataMigration에 대해 자세히 알아보실 수 있는 링크와 동영상 남겨드리며, 저는 이만 물러가겠습니다.

Qrator Homepage: http://www.dataqrator.com/#!information-builders/zjjcp







안녕하세요? DFOCUS의 데이터 전문가 QRATOR 입니다.



(위의 대시보드는 태블로 퍼블릭 금주의 대시보드에 올라와 있는 

대시보드를 참고하였습니다)

오늘은 위에 보이는 대시보드와 같이, 그래프를 누르면 음반에 대한 정보를 확인할 수 있는 대시보드에대해 분석해 보겠습니다.

이렇게 멋진 대시보드를 만들기 위해서는 3가지를 알아야합니다.

첫째, 대시보드에 들어갈 요소를 결정합니다. 

대시보드에 들어갈 수 있는 요소는 워크시트, 텍스트, 이미지, 웹 페이지 입니다.

위의 대시보드가 훌륭한 이유도 위와 같은 요소들을 아주 멋지게 활용했기 때문입니다.

둘째, 대시보드 레이아웃 입니다.

태블로에는 레이아웃이 2가지가 있습니다. 바둑판식과, 부동입니다.



각 워크시트의 상대적인 배치이며, 부동은 절대적인 위치입니다. 멋진 대시보드를 만들기 위해서는 레이아웃의 구조를 알고

활용하는 것이 필수적입니다.

셋째, 동작기능입니다.

하나의 필터로 대시보드를 이용하는 기능입니다. 이 부분은 뒤에서 설명 드리겠습니다.



먼저 첫번째인 대시보드의 요소들을 살펴보겠습니다.

크게 네가지의 요소가 보이는데요, 이미지, 워크시트, 텍스트(제목과 설명)

사실 들어간 요소가 그리 많지 않음에도 불구하고 굉장히 화려해 보입니다.


두번째로 강조한 레이아웃 입니다. 

대화형 대시보드를 만들기 위해 이 예시는 '부동'을 아주 잘 활용했습니다.

더욱이, 차트를 구성하는 데이터가 없으면 차트가 나오지 않는 다는 것도 잘 활용하였는데요

텍스트와 테이블 차트를 겹처 놓아서, 데이터가 없어서 차트가 나오지 않을 때에는 테이블 차트 뒤의 텍스트가 보이는 것 이고,

데이터가 있을 때에는 그대로 테이블 차트가 보이는 것 입니다.



마지막으로 동작 기능을 이용하여 이렇게 그래프를 누르면, 테이블 형태의 차트가 나오는 대화형 대시보드를 완성시킨 것 입니다.

이렇게 대시보드의 기본요소만 잘 이해하고 활용하다면 근사한 대화형 대시보드를 만들 수 있습니다.

위와 같은 내용을 동영상으로 보고 싶으시다면,

저희의 YOUTUBE 채널:https://www.youtube.com/channel/UCAgbv59uFaoEFgLw8Q4veHw

에서 동영상을 확인하실 수 있습니다.

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 QRATOR 입니다.

여러분의 비즈니스가 성장함에 따라서, 관리해야 할 정보의 양도 증가하게 됩니다.

수익창출과 이윤의 극대화를 위해서는 그러한 정보를 잘 활용하는 것이 필수적 입니다.

그러나!

대부분의 정보들은

접근하기 쉽지 않거나

 

시기 적절하지도 않으며

신뢰하기도 어렵고

활용도 조차 낮습니다.

오늘 소개해드릴 Information Builders는 위와 같은 정보 문제를 해결하기 위한

심플하고도 획기적인 ALL-IN-ONE 솔루션 입니다.


Information Builders의 솔루션들은

산재되어 있는 다양한 형태의 데이터를 통합하고,

그들의 품질을 검증하여

즉시 인사이트를 얻을 수 있도록 시각화 해줍니다.

이 모든 과정은 단 한번의 프로세스로 구축 가능하며, 계속해서 활용할 수도 있습니다.

Information Builders를 간단하게 소개하는 동영상과 함께 저는 이만 물러가겠습니다.





안녕하세요? DFOCUS의 데이터 전문가 QRATOR 입니다.

1. 데이터 시각화

2. 빅데이터 분석

최근 가장 뜨거운 위의 두가지 이슈에는 공통점이 있습니다.

바로.............

"데이터의 정형화가 필수적" 이라는 것 입니다. 

오늘 소개해 드릴 솔루션은, 데이터의 준비 (Data Preparation) 와 Discovery를 위한 툴

Datawatch: Monarch 입니다.


대부분의 보고서 혹은 문서는 아래와 같은 PDF 파일 일 것 입니다.

하지만 대부분의 시각화 혹은 빅데이터 분석 툴은

PDF 파일을 지원하지 않는다는 사실!

그래서 기존에는 모든 데이터를 일일히 정리해야만 했고, 엄청난 시간이 필요했습니다.

하지만!! Datawatch: Monarch를 이용하면



위와 같은 데이터를 

자동으로 아래와 같이 선택하여, 테이블 형식으로 변환시켜 줍니다.



만약 원하는 데이터가 누락되어 있다면?



영역 설정만 다시 해주시면

자동으로 원하는 만큼을 하나의 컬럼으로 만들어줍니다.



이렇게 만들어진 테이블을



엑셀로 저장하여 사용하시면 됩니다!

추가적으로 궁금하신 사항을 알아보실 수 있는 링크를 남겨드리고, 저는 이만 물러가겠습니다.

http://www.dataqrator.com/#!datawatch/mipwa



+ Recent posts