notfounduser's diary

특정 차트를 다른 웹페이지의 일부로 표시하고 싶을 경우 차트만 표시 하고 싶을 경우 이런 경우 superset의 standalone 모드를 사용합니다. #1 일반 분석 모드의 경우 차트 + 필터 + 조건등의 UI가 화면에 나타납니다. #2 차트Only 분석 모드의 경우 차트 UI만 화면에 나타납니다. 유심히 보셨으면 알겠지만 상단 url에 standalone=true 의 파라메타를 추가함으로서 해결됩니다. http://gnoti.iptime.org:8088/superset/explore/?form_data=%7B"datasource" --> http://gnoti.iptime.org:8088/superset/explore/? standalone=ture& form_data=%7B"datasource"

Apache Superset의 활용 Deck.gl-Arc 차트를 이용해서 특정 지역에 집중되는 데이터를 분석해 봅니다. superset - mapbox연계 https://account.mapbox.com/  에서 계정등록 후, AccessToken을 취득  superset 의  [root@superset superset]# vi config.py [root@superset superset]# pwd /home/min/venv/lib/python3.6/site-packages/superset  에서 키설정을 진행합니다. 이제 분석을 진행해보겠습니다. 간단하게  위도 경도가 들어 있는 데이터를 소스로 해서 Deck-gl screen grid를 이용해서 이하의 지역별 분포를 확인 합니다. path같은 경로를 확인하기 위해서는 위도경로가 소스-타겟의 형태로 2개의 좌표가 필요합니다.

3개의 데이터 전용 노드, 1개의 마스터 전용 노드로 구성합니다. Master Node가 설치된 서버에는 Kibana, Logstash 을 설치합니다. 데이터는 Master Node 를 통해서만 색인됩니다. 서버스펙 운영 서버에 필요한 CPU, RAM, 저장장치는 총4대   – OS : Centos 7   – CPU : 4core   – RAM : 4GB   – JAVA : Openjdk 8 Cluster 설치 es-master는 마스터 es-client1는 데이터, es-client2는 데이터, es-client3는 데이터 cluster.name: es-demo node.name: node-1   (각각node-2, node-3으로 설정) node.master: true      (마스터 노드만 true로 설정, 데이터 노드는 false) node.data: false          (마스터 노드만  false 로 설정, 데이터 노드는 true) 기동 장애 발생 시 대응.. rm -rf /var/lib/elasticsearch/nodes/0 로 데이터 삭제 후, 재설정 실행 결과 es-client1, es-client2, es-client3에 각각 분산되어 데이터 수집 보나스 테스트(Metricbeat로 apache,system 모니터링) [root@localhost modules.d]# metricbeat modules list Enabled: apache system vi apache.yml # Module: apache # Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.4/metricbeat-module-apache.html – modu

동작 시간 모니터링으로 활성 상태를 탐지하고 서비스가 가능한지 모니터링합니다 Heartbeat 설치 Heartbeat 다운로드 및 설치 설치파일 다운로드 https://artifacts.elastic.co/downloads/beats/heartbeat/heartbeat-6.4.2-x86_64.rpm 설치 # yum install heartbeat-6.4.2-x86_64.rpm 환경설정 # heartbeat setup –template -E output.logstash.enabled=false -E ‘output.elasticsearch.hosts=[“192.168.0.113:9200”]’ 키바나 대시보드 템플릿 추가 # heartbeat setup –dashboards Loading dashboards (Kibana must be running and reachable) Loaded dashboards 대시보드 kibana 접속설정 및 데이터 수집 elasticsearch 경로 설정 http, icmp 형태로 서버의 서비스 유무를 확인 Heartbeat 실행 # /usr/share/heartbeat/bin/heartbeat -e -c ./heartbeat.yml -d “publish” Heartbeat 모니터링 대시보드

Windows 기반 인프라의 상태를 확인하기 위해 Winlogbeat를 설치하고 Windows 이벤트 로그를 수집합니다 Winlogbeat 설치 설치파일 다운로드  https://artifacts.elastic.co/downloads/beats/winlogbeat/winlogbeat-6.4.2-windows-x86_64.zip Powershell로 설치 .\install-service-winlogbeat.ps1 대시보드 템플릿 템플릿 셋업  .\winlogbeat.exe setup –dashboards Winlogbeat 환경설정 대시보드 kibana 접속설정 및 데이터 수집 elasticsearch 경로 설정 Winlogbeat 모니터링 대시보드

Metricbeat은 다양한 시스템 및 서비스 메트릭을 수집하여 지정된 출력 대상에 제공하는 경량 log수집기입니다. Metricbeat은 사용자 환경의 다른 서버에 설치되며 성능 모니터링뿐만 아니라 서버에서 실행중인 다른 외부 서비스의 성능 모니터링에도 사용됩니다. 예를 들어, Metricbeat을 사용하여 시스템 CPU, 메모리 등을 모니터링하고 분석 할 수 있습니다.  서버스펙 운영 서버에 필요한 CPU, RAM, 저장장치   – OS : Centos 7   – CPU : 4core   – RAM : 4GB   – JAVA : Openjdk 8 Metricbeat 설치 curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-6.4.2-x86_64.rpm rpm -vi metricbeat-6.4.2-x86_64.rpm # vi /etc/metricbeat/metricbeat.yml kibana 대시보드, 수집된 데이터를 elasticsearch로 보내기 위한 설정 시스템 모듈 활성화 metricbeat modules  enable  system Metricbeat 실행 #metricbeat setup #metricbeat -e -c /etc/metricbeat/metricbeat.yml Windows, Centos 복수대의 서버에 Metricbeat를 실행한 결과