notfounduser's diary

druid에 수집된 데이터셋을 superset에서 시각화를 통한 분석을 수행합니다. 전체 분석 flow #1 druid 수집 머신러닝을 활용한 빅데이터 분석 #3 에서 수집된 데이터셋의 확인 ## druid-kafka indexing list http://192.168.0.166:8081/#/indexing-service ## dsql에서 데이터셋 확인 select * from suicides4kafka 2 Druid-Superset Druid에서 수집된 데이터셋을 Superset과 연결하고 데이터 분석을 수행합니다. #2-1 Connect Superset-Druid Druid Cluster와의 연결을 위한 설정을 수행합니다. 연결이 완료되면 Datasources 스캔을 통해 Druid Datasources설정 메뉴에서 데이터셋 스키마를 확인 할 수 있습니다. #2-2 Analysis Superset에서 간단하게 수집된 데이터셋에 대한 내용을 확인해 봅니다. #3 Result 전체 flow Apachi nifi -> kafka -> druid -> superset

분석 Suicide Rates Overview 1985 to 2016  Suicide Rates Data를 csv형태로 취득한 후, json변환을 거쳐 메세지큐를 통해 Druid에 저장하고 Machine Learning으로 분석 가공한 후, 시각화처리를 수행합니다. 분석에 필요한 솔루션 http://kafka.apache.org/ https://nifi.apache.org/ http://druid.io/ https://scikit-learn.org/ https://superset.incubator.apache.org/ #1 Start Druid ./bin/supervise -c quickstart/tutorial/conf/tutorial-cluster.conf **Druid 의 경우, zookeeper의 선행 시작이 필수. #2 Start Kafka broker ./bin/kafka-server-start.sh config/server.properties #3 Start Nifi ./bin/nifi.sh start