안녕하세요? DFOCUS의 데이터 전문가 Qrator입니다. 

최근 몇년간 "BIG DATA"의 분석과, 활용에 대한 이슈가 뜨거웠습니다.

지금이야 흔한 개념으로 자리잡았지만, 전에는 어떘을까요?

'빅데이터'라는 개념이 자리 잡기전에도 이미 대용량 데이터는 존재했습니다.

성능좋고 비싼 시스템, 수퍼컴퓨터, 하지만 이 모든 방법들에는 한계가 존재했습니다.

따라서 기업은 

가치있다고 판단되는 몇가지 데이터에만 집중하여 분석해야 했습니다.

하드웨어적인 자원도 부족하고, 관련 기술이나 엔지니어도 부족했기 때문입니다.

더욱이 그것들을 보완해 줄 수 있을 만큼의 예산도 부족했습니다.

그렇기 때문에 기존 데이터를 비용대비 효율적으로 처리할 수 있는 방법이 꾸준히

요구되었습니다.

하둡이 탄생하게 되었습니다.

하둡은 여러대의 저렴한 컴퓨터를 하나의 컴퓨터 처럼 묶어 

대용량 데이터를 처리하는 "분산시스템"입니다.

이러한 하둡의 개발로 인해 빅데이터 라는 개념이 이렇게

대중화 되는 시작이 된 것입니다.

하지만, 이도 완벽한 것은 아닌지라

HIVE, PIG, MAHOUT 솔루션등을 총괄하고, 부족한 기능을 보완하기 위한

"하둡 에코시스템"이 필요합니다.

이는 별도의 환경 설정 작업이 동반되는 작업입니다.

하지만, Information Builders의 iWay Data Hadoop Manaer

별도의 프로그램의 설치 없이 이들이 수행하고 있는 기능 모두를 지원할 수 있습니다.

새로운 다수의 프로그램을 설치하여 조율하는 번거로운 과정에서

자유로워 지는 것 입니다. 나아가

Eclipse 기반의 쉬운 인터페이스는 개발자들의 시간또한 절약해 줍니다.

만약 더 많이 알고 싶으시다면,

홈페이지(클릭)

혹은

공식 Youtube 채널(클릭)

에서 더 많은 교육자료 및 자세한 설명을 찾아보실 수 있습니다.

감사합니다.


안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

지난 4/5~7 까지 싱가포르에서는 Tableau 고객사를 위한 메이저 컨퍼런스 행사인

Tableau Conference가 열렸습니다.

Tableau의 연간 가장 큰 행사이기도한 이 Tableau Confernce의 현장에

저희 Qrator도 함께했습니다.

수많은 스폰서 기업들이 부스를 설치하고 Tableau와의 연계를 앞세워 홍보하고 있었는데요

유난히 눈에 뜨이는 부스가 하나 있었습니다.

바로 Tableau를 위한 데이터 준비(Data Preparation) 솔루션인

Datawatch 입니다. 

"데이터의 준비부터, 시각화 까지의 모든 과정"을

한번에 케어할 수 있는

Datawatch to Tableau의 컨셉은 이미 대중화된 "시각화"라는 기술이

한 발 더 나아갈 수 있는 가능성을 열었다는 것이 현장의 반응이었습니다.

그래서 인지, Tableau와 Datawatch 양사의 관계 역시 대단히 끈끈해 보였습니다.

물론, 고객사를 위한 행사이니 만큼 현장의 분위기는

무겁기 보단 즐길 수 있는 컨퍼런스 였습니다.

즐거웠던 행사의 뒤풀이 현장, 살짝 전해드리면서 저는 이만 물러가겠습니다.



안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

대부분의 기업은, 원활한 운영을 위해 여러 필연적으로 다수의 시스템을 운영합니다.

따러서 불가피하게 중복이 발생하기 마련입니다.

시스템의 '통합'이 필요해 집니다.

최적화된 기술구조의 통합이, 원활한 유지보수와 기업의 신속한 의사결정의

기반이 되기 때문입니다.

ESB가 필요한 때 입니다.

ESB: Enterprise Service Bus, "서비스들을 컴포넌트화 된 논리적 집합으로 묶는 핵심 미들웨어 이자, 비즈니스 프로세스 환경에 맞게 설계 및 전개할 수 있는 아키텍처 패턴"

말이 조금 어렵지만, 쉽게 설명하자면

 기존, 혹은 신규 서비스들을 기업의 업무 환경에 맞추어 구성해 줄 수 있는 미들웨어

라고 표현할 수 있습니다.

Information Builder의 ESB Integration 은 위와 같은 역활에 최적화 된, 솔루션입니다.

ESB Integration은 서비스를 생성, 구성, 관리할 수 있는 iWay Service Manager와 

Process Flow를 디자인할 수 있는 Eclipse 기반의 iWay Integration Tools로 구분됩니다.

그렇다면 Information Builders만의 특별한 장점은 무엇일까요?

첫째, 별도의 문제의 발생 없이 기존의 애플리케이션, 인프라 및 웹 서비스를

재사용 할 수 있습니다.

둘째, 이 모든 통합과정을 실시간으로 구성하는 것이 가능합니다.

셋째, 서비스의 설계와 배포 및 유지보수가 간단합니다.

넷째, iWay Archive를 제공하여 대용량 문서의 저장이 가능합니다.

마지막으로, 아래의 그림에서 보듯이, 전반적인 상태에 대한 모니터링이 가능합니다.

만약 Data All-In-One 솔루션, Information Builders에 대해 더 알아보고 싶으시다면,

저희의 공식홈페이지(클릭),

혹은 Youtube 채널(클릭) 를 방문해 주세요,

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

공공데이터, Naver와 같이, 오픈 API를 이용하여 제공되는 데이터가 많습니다.

대부분은 CSV 혹은 XML, JSON 형식으로 내려받아 사용할 수 있지만

일부, 그렇게 제공되지 않는 데이터들은 어떻게 해야 할까요>


Datawatch를 이용하면 쉽게 데이터를 가져와서 파일형태,

나아가서 Tableau와 바로 연결하여 사용이 가능합니다.

Datawatch의 데이터 준비 툴인, Data Prep Studio를 사용해 보겠습니다.

오늘 이용할 공공데이터는 서울 열린 데이터 광장에서 제공하는

"서울시 공공 WiFi 위치 정보" 입니다. (클릭하여 바로가기)

이 데이터는 사실 CSV, 엑셀파일로도 제공되고 있지만 이번에는 오픈 API를 사용하여

데이터를 가져와 보도록 하겠습니다.

간단히 서울 열린 데이터 광장의 이용절차에 대하여 설명드리겠습니다.

사이트에 접속하여 회원가입을 하면 위와 같은 화면을 보실 수 있습니다.

그 다음 인증키를 신청하면 아래와 같이 인증키가 나옵니다.

여기서 위의 인증키를 복사하여

http://openAPI.seoul.go.kr:8088/(인증키)/xml/PublicWiFiPlaceInfo/1/5/강남구


위의 URL의 인증키 부분에 입력하여 준비해 둡니다.

Datawatch의 Data Prep Studio를 실행 시켜준 뒤

OPEN DATA를 눌러 줍니다.

Open From Web을 누르면 위와 같은 창이 뜨고, 여기서 위의 URL을 입력해 줍니다.

그러면 다음과 같은 팝업창에서 row - 5rows를 클릭하여, 

하단의 데이터의 확인이 가능합니다.

이렇게 가져온 데이터를 Tableau로 연결하기 기능을 통하여 XML, JSON과 같은

어려운 파일 도 쉽게 Tableau로 연결할수 있는 것 입니다.

아래는 Tableau를 통해 위의 데이터를 분석한 대시보드 입니다.

추가적인 정보가 필요하시다면

저희의 공식 홈페이지로(클릭)

교육 동영상 혹은, 더 많은 볼거리가 필요하시다면

저희의 YOUTUBE 채널(클릭) 로 방문 부탁드립니다.



안녕하세요 DFOCUS의 데이터 전문가 Qrator 입니다.

오늘은 솔루션 소개에 앞서, 간단한 상황을 예로 들어 보겠습니다.

오늘의 Q맨은 기업의 데이터 담당자 입니다.

매일 매일, 수많은 보고서가 올라옵니다.

엑셀 시트라던지

보고서라던지

시각화 되어 있는 대시보드라 던지.

딱히 데이터를 통합할 필요는 없지만,

이 모든 것들을 주제에 따라서, 항목에 따라서

"웹사이트와 같은 하나의 플랫폼"

에서 볼 수 있으면 정말 편리하지 않을까요?

오늘 소개해 드릴 솔루션 Information Builders의 WebFOCUS는

모든 유형의 사용자가 필요로 하는 모든 형태의 자료

이해하기 쉬운 형태로 하나의 Portal에서 확인할 수 있게 해 줍니다.

또한 데이터를 다양한 BI 컨텐츠를 통해 직관적으로 확인할 수 있도록

앱스토어와도 같은 역할까지 수행할 수 있습니다.

더욱이 WebFOCUS의 최대의 장점 중 하나는

웹 기반의 Portal을 구성하기 때문에 어디서든, 어떤 기기로든

접속이 가능하다는 것 입니다. 물론 Portal 형식이기 때문에

내부적인 검색기능 까지도 지원합니다.

결론은 이렇습니다.

여러분들꼐서는 수많은 BI 솔루션을 설치하실 필요도

여러가지 솔루션을 이동하며 정보를 확인하실 필요도 없습니다.

하나의 Portal 에서 모든 것이 가능합니다.

WebFOCUS(information Builders)에 대해

더 알아보고 싶으시다면

저희의 공식 홈페이지(클릭)

을 방문해 주세요

감사합니다.



안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

오늘은 조금 특별한 전시회의 후기를 들려드릴까 합니다.

바로 데이터 시각화 전문 기업 "Newsjelly"와 함께한

2016 공공 솔루션 마켓 의 후기 입니다.

저희 DFOCUS의 데이터 전문가 "Qrator"와

 데이터 시각화 전문 기업 "Newsjelly"는 각각

Tableau 와 Daisy 라는 데이터 시각화 솔루션을 가지고 전시회에 나섰습니다.

각각 Tableau는 DFOCUS의 이솔 주임님 께서

Daisy는 'Newsjelly'의 정예림 팀장님 께서

이날의 시연을 책임져 주셨습니다.

"공공 솔루션 마켓"

행사의 이름에서 알 수 있듯이 이날은 각계 각처의 공공기관,

혹은 공공 데이터에 관심이 있는 많은 분들이 참석해 주셨습니다.

물론 저희의 부스에도 정말 많은 분들이 참석하여

관심을 가져 주셨습니다.

이날의 주인공 이었던 두 시각화 솔루션

Tableau 와 Daisy에 대해 더 자세히 알고 싶으신 분들을 위해

각 솔루션을 빠르게 알아 보실 수 있는 동영상과

홈페이지 주소 남겨드리고 저는 이만 물러가겠습니다.

감사합니다.

Tableau 한국 공식 리셀러 바로가기(클릭)

Daisy 개발사 바로가기(클릭)




안녕하십니까? DFOCUS의 데이터 전문가 Qrator입니다.

태블로는 훌륭한 데이터 시각화 툴이지만

동시에

강력한 대시보드 구성 툴 이기도 합니다.

오늘은 이 "대시보드 구성"이라는 기능에 초점을 맞춰 보겠습니다.

어릴적 인터넷을 통해 공부했던, 플래시 화면과 비슷합니다.

이쯤에서 복습! 위의 대시보드는

앞전에 다루었었던

멋진 대시보드 분석하기 #1(클릭)

에서 잠깐 설명 했었듯이

"데이터가 없으면 대시보드가 나오지 않는다" 라는 점을 아주 잘 활용한 예 입니다.

우선 "레이아웃 컨테이너"를 활용해야 합니다.

원리는 이렇습니다. 가로 레이아웃 안에 2개의 콘텐츠가 담여있는 것 입니다.

좀 더 쉽게 설명하자면 이렇게 구성되는 것 입니다.

우측의 문자를 하나 누르면, 이 문자가 자체로 하나의 "필터:가 되어

그에 해당하는 내용이 나오는 것 입니다

이런 식으로 구성이 됩니다.

문자가 선택되지 않으면

이와 같이 왼쪽의 설명은 나오지 않습니다.

알고보면 원리는 정말 쉽지 않으십니까?

오늘의 포스팅은 여기서 물러가도록 하겠습니다.

만약 더 많은 정보와, 직접 문의 및 교육을 신청하고 싶으시다면

저희의 공식 홈페이지(클릭) 혹은 Youtube 채(클릭)을 이용하시기 바랍니다.


감사합니다.


안녕하세요? DFOCUS의 데이터 전문가 Qrator 입니다.

오늘은 자동화 (Automation) 에 대해서 이야기 하려 합니다.

자동화

뭔가 말은 멋있긴 한데, 아직은 생소하시 겁니다.

'뭘 자동화 한다는 거야?' '그거 하면 뭐가 좋은데?'

데이터에서의 자동화란, 

데이터 준비 (Data Preperation) 부터, 시각화 (Visualization) 이전 까지의 모든 과정을

일체의 수작업 없이, 자동으로 이루어지게 구성하는 것을 말합니다.

예를 들어 봅시다.

우리의 마케팅 담당자, Qrator의 Q맨이 있습니다.

우리의 Q맨은 매일 매일 올라오는 각 부서의 세일즈 보고서를 시각화여 보고해야 합니다.

물론 각 부서의 보고서의 구성이나, 파일의 형식, 확장자는 개별로 다릅니다.

물론 처음에 한두번은 괜찮습니다.

처.음.에

한.두.번.은

그래서 자동화가 필요합니다.

Datawatch Automation은 말 그대로 처음에 한두번의 작업으로

이후의 모든 작업을 자동으로 이루어지게 만들 수 있습니다.

우선 아래의 영상을 보시겠습니다.

여러분들 께서는 위와 같이, 

번거로운 업무를 자동화 함으로써

인력과, 시간, 그에 따른 업무량을 획기적으로 줄이 실 수 있게 됩니다.

자세한 내용에 대해 문의 하시려면

저희의 공식 홈페이지로(클릭)

더 많고, 자세한 영상을 보시고 싶으시다면 저희의 YOUTUBE 채널(클릭)로 방문해 주세요

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 QRATOR입니다.


태블로에서는 데이터의 표현방식을 아래와 같이 24가지(실질적으로는 19개)를 제공합니다.

그런데 뭔가 이상하지 않으십니까?

어디를 찾아봐도 위와 같은

도넛 그래프는 없다는것!

그렇다면, 위의 대시보드에서는 어떻게 도넛 그래프를 구현한 것 일까요?

사실 원리는 의외로 간단합니다.


태블로의 이중축 기능을 이용하면 됩니다.

이중축 기능이란 이렇게, 열선반 혹은 행선반의 필드 2개를

하나의 축으로

표현하는 것을 의미 합니다.

실제로 간단한 작업을 통해 도너츠 모양의 차트를 만들어 보겠습니다.

일단 두개의 차트를 준비해야 합니다.

첫 번째 축에는 파이차트, 두 번째 축에는 그냥 원으로만 이루어진 차트를 준비합니다.

(원으로만 된 차트는 파이차트를 선택하고, 각도에 측정값을 부여하지 않으시거나, 마크의 유형을 원으로만 설정하시면 쉽게 만들 수 있습니다.)

여기서 가장 중요한점은 바로 위의 파이차트보다 지름이 작은 원이어야 한다는 것 입니다.

크기를 다소 줄여주시여 합니다.

그런후에, 마지막, 축에서 "이중축" à "축 동기화"를 선택하면

위와 같이 파이차트가 완성됩니다.

조금 더 깔끔한 차트를 원하신다면 머릿글 표시를 해제하면 됩니다.

이렇게 해서 오스카 시상식을 한눈에 볼 수 있는 멋진 대시보드를 완성할 수 있습니다.

만약 Tableau에 대해 좀 더 자세히 알아 보고 싶으시다면

저희의 홈페이지(클릭)

혹은 동영상으로 보고 싶으시다면 저희의

Youtube(클릭) 로 와주시면 됩니다.

감사합니다.

안녕하세요? DFOCUS의 데이터 전문가 QRATOR 입니다.

CDC

아직은 생소한 단어일 수 있겠습니다. CDC란 Change Data Capture의 약자로써

변경데이터 캡쳐, 데이터 소스로부터 변경된 데이터를 캡쳐하여

목적이 되는 타겟 시스템에 전송하는 작업 전반을 말합니다.

'그냥 전송하고 나서 생각하면 안되?'

라고 생각하시는 분들도 계시겠지만!

데이터 관리의 효율성과, 생산상의 향상을 위해서는 CDC가 꼭 필요합니다.

오늘 소개해드릴 Information Builders의

 iWay DataMigrator CDC에서는

위의 모든 과정을 실시간으로 처리할 뿐만 아니라

중복 데이터 제거, 배치 시간을 단축, 효율적인 트랜잭션처리 까지도 이루어 집니다.

다시 말씀 드리자면

 iWay DataMigrator CDC

 는 관계형 데이터 베이스로부터 실시간으로 로그를 읽어들이고

서버에서 바로 변경된 데이터를 이용할 수 있도록 도와준다는 것 입니다.

이의 중요성은 이미 기존의 포스팅(http://dataqrator.tistory.com/20)에서

다룬 바가 있습니다.

아래에는 이에대해 더 자세이 알아보실 수 있는 동영상과 함께

저는 이만 인사 드리겠습니다.

더 알아보고 싶으신 점이 있으시다면, 이곳 저희의 공식 홈페이지를

찾아 주세요 감사합니다.



+ Recent posts