[Today Popit] 데이터 처리 200배 빠르게 하는 팁 등
How to Make Your Database 200x Faster Without Having to Pay More?
제목대로 본다면 추가 비용없이 데이터 처리를 200배 빠르게 하는 방법에 대한 소개입니다. 특별한 방법이라기 보다는 데이터 분석에 있어 정확한 수치가 필요한 것이 아니라 데이터의 추이 또는 비율 등을 분석하는 경우에는 전체 데이터가 아닌 샘플링을 하는 방식을 이용할 수 있다는 내용입니다.
Presto, BlinkDB / G-OLA, SnappyData 등과 같은 샘플링 방식을 지원하는 데이터 처리 솔루션에 대해서도 간단하게 소개하고 있습니다.
(김 형준 님이 공유해 주셨습니다.)
This is a guest repost Barzan Mozafari, an assistant professor at University of Michigan and an advisor to a new startup, snappydata.io, that recently launched an open source OLTP + OLAP Database built on Spark. Almost everyone these days is complaining about performance in one way or another. It’s not uncommon for database administrators and programmers to constantly find themselves in a situation where their servers are maxed out, or their queries are taking forever. This frustration is way too common for all of us. The solutions are varied. The most typical one is squinting at the query and blaming the p
Apache NiFi 1.x Cheatsheet
Apache NiFi에는 많은 Processor가 있어 어떤 Processor를 사용해야 할 지 찾아야 하는 경우가 많은데 이 글에서 많이 사용하는 Processor를 알려줍니다. 그리고 NiFi의 Rest API에 대해서도 설명하고 있습니다.
(김 형준 님이 공유해 주셨습니다.)
Apache NiFi is quickly becoming the go-to Open Source Big Data tool for all kinds of use cases. For me, it's my personal swiss army knife with 170 tools that I can easily connect together in a pipeline with scheduling, queueing, scale out clustering, monitoring, UI and extreme ease of use. Apache NiFi was originally developed at the NSA and worked on internally for years before a company was spun out and purchased by Hortonworks who open sourced it through Apache. This Java tool provides a very user-friendly Web UI in which to develop your data flows which can encompass everything from ingesting files, consuming asynchronous messages, reading email, calling scripts, converting file formats and storing in Hadoop, databases, NoSQL stores, and more. It really is the modern data Swiss Army knife.
Git을 이용한 협업 워크플로우 배우기
Git을 이용한 협업 워크플로우 배우기
(심 천보 님이 공유해 주셨습니다.)
원문보기: http://blog.appkr.kr/learn-n-think/comparing-workflows/
이 문서는 Atlassian社에서 쓴 ‘Getting Git Right’ 튜토리얼 중 ‘Comparing Workflows’라는 글을 한글로 번역한 것이다. 이 글에서는 총 네 개의 워크플로우를 소개한다. Centralized Workflow Feature Branch Work...
Netflix Data Benchmark: Benchmarking Cloud Data Stores
Cassandra, HBase, ElasticSearch, MongoDB 등 이미 많이 알려진 Data Store 이외에도 최근에 많은 새로운 Data Store가 출시되고 있습니다. 이들 솔루션들은 별도의 벤치마킹 자료를 공개하기도 하지만 업무에 적용하기 위해서는 직접 테스트하는 것이 필수라 할 수 있습니다.
이글은 Netflix에서 만든 NdBench 라는 오픈소스 솔루션에 대해 소개하는 글입니다. 이런 솔루션 을 위해 자체 벤치마킹 테스트를 준비하고 있다면 관심가져 볼만한 내용입니다.
(김 형준 님이 공유해 주셨습니다.)
원문보기: http://techblog.netflix.com/2016/09/netflix-data-benchmark-benchmarking.html
The Netflix member experience is offered to 83+ million global members, and delivered using thousands of microservices. These services are o...
Netflix Billing Migration to AWS - Part II
Netflix는 AWS 시스템을 광범위하게 사용하는 회사로 유명합니다. AWS가 이렇게 많이 사용되고 있는 것도 Netflix가 좋은 레퍼런스를 제공했기 때문이라고도 볼 수 있겠죠. 이런 Netflix도 Billing System은 자체 IDC를 이용했는데 이제 Billing 시스템도 모두 AWS로 이관했다고 합니다.
이 글은 어떻게 자연스럽게 자체 IDC에서 AWS 환경으로 이전했는지에 대한 글입니다. 레거시 시스템을 AWS로 이관하는 것을 고민하고 있다면 도움될 만한 글이네요.
(김 형준 님이 공유해 주셨습니다.)
원문보기: http://techblog.netflix.com/2016/07/netflix-billing-migration-to-aws-part-ii.html
This is a continuation in the series on Netflix Billing migration to the Cloud. An overview of the migration project was published earlie...