Kaggle이 뭔가요? Big Data? AI?

현재 네트웍을 통해 어마어마한 데이터가 쏟아져 나오고 있습니다. 인터넷을 비롯한 정보통신기술 ICT의 발달로 기존 방식으로는 수집, 저장, 가공, 분석이 어려운 방대한 규모의 데이터입니다. 
이를 가리켜 빅데이터라고 부르는데, 이 빅데이터를 제대로 분석하면 정말 많은 문제들을 해결할 수 있습니다.  
그렇기 때문에 데이터를 분석하고 예측 모델을 도출해 낼 수 있는 전문가의 가치가 높이 치솟고 있습니다. 

데이터분석 전문가들이 사용하는 툴인 캐글(Kaggle)에 대해 소개하도록 하겠습니다. 

캐글(Kaggle)이란? 캐글(Kaggle)은 2010년 설립된 예측모델 및 분석 대회 플랫폼이다. 기업 및 단체에서 데이터와 해결과제를 등록하면, 데이터 과학자들이 이를 해결하는 모델을 개발하고 경쟁한다. 2017년 3월 구글에 인수되었다.

캐글(Kaggle)은 어떤 기업에 방대한 양의 빅데이터가 쌓여있다고 가정해보겠습니다. 기업에서 이 자료들을 바탕으로 필요한 정보 또는 알고리즘을 알아내기를 원하지만, 이를 분석할 전문가가 부족하거나 아예 없는 경우가 대부분입니다. 이때 바로 캐글이 필요합니다. 기업이 캐글에게 빅데이터를 제공해주면 Kaggle은 이를 온라인에 공개하여 세계 각지의 수많은 Data Scientist들이 이 문제를 팀이나 개인으로 해결할 수 있도록 연결해줍니다. Kaggle은 세계 최대 데이터 과학자 커뮤니티인 셈입니다.

캐글(Kaggle)을 통해서 할 수 있는 것들은 다음과 같다.

1. 데이터 분석 / 예측
2. 빅데이터 경험
3. 경연(Competition)
4. 데이터 과학자들과 소통

세계는 지금 뛰어난 데이터 과학자를 원하고 있습니다. 하지만 그런 전문가를 찾기란 쉽지 않고 해결해야 하는 문제들은 쌓여만 가고 있습니다. 또한 전문가를 채용한다고 해서 기업이 원하는 답을 얻을 수 있다는 보장도 없습니다. 이런 현실에서 꾸준히 캐글을 통해 대회에 참여하고 기업에서 요구하는 문제들을 해결하면 여러분도 데이터 분야의 전문가로 거듭날 수 있을 것입니다. 

다음번에 Kaggle의 사용법에 대해서 포스팅 하겠습니다.