notfounduser's diary

docker상에서  superset(server-worker), mysql, redis  분산 실행  ## Environment     centos 7.6     docker 1.13.1 ## architecture ## starting mysql [root@kylin docker-files]# docker run --name mysql --rm --env-file .env -d -p 3306:3306 docker.io/mysql:5.7 d399db893198be4ef8cea8b47dbbd27357795bec7b5d1426dc0ea63a6fb20d33 [root@kylin docker-files]# docker ps -a CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES d399db893198 docker.io/mysql:5.7 "docker-entrypoint..." 5 seconds ago Up 4 seconds 0.0.0.0:3306->3306/tcp, 33060/tcp mysql [root@kylin docker-files]# [root@kylin docker-files]# docker inspect d399db893198 "Networks": { "bridge": { "IPAMConfig": null, "Links": null, "Aliases": null, "Network

docker에 설치된 데이터들을 backup -> restore 해보기 1. 환경준비     centos 7.6     docker 2.install hadoop [root@kylin ~]# docker pull kiwenlau/hadoop:1.0 Trying to pull repository docker.io/kiwenlau/hadoop ... 1.0: Pulling from docker.io/kiwenlau/hadoop 6c953ac5d795: Pull complete 3eed5ff20a90: Pull complete f8419ea7c1b5: Pull complete 51900bc9e720: Pull complete a3ed95caeb02: Pull complete bd8785af34f8: Pull complete bbc3db9806c0: Pull complete 10b317fed6db: Pull complete ff167c65c3cc: Pull complete b6f1a5a93aa5: Pull complete 21f0d52e6cae: Pull complete 35ebd7467cfb: Pull complete Digest: sha256:e4fe1788c2845c857b98cec6bba0bbcd5ac9f97fd3d73088a17fd9a0c4017934 Status: Downloaded newer image for docker.io/kiwenlau/hadoop:1.0 3.exec hadoop [root@kylin ~]# git clone https://github.com/kiwenlau/hadoop-cluster-docker Cloning into 'hadoop-cluster-docker'... remote: Enumerating objects: 392, done. remote: Total 392 (delta 0), reused 0 (delta 0), pack-reus

3개의 데이터 전용 노드, 1개의 마스터 전용 노드로 구성합니다. Master Node가 설치된 서버에는 Kibana, Logstash 을 설치합니다. 데이터는 Master Node 를 통해서만 색인됩니다. 서버스펙 운영 서버에 필요한 CPU, RAM, 저장장치는 총4대   – OS : Centos 7   – CPU : 4core   – RAM : 4GB   – JAVA : Openjdk 8 Cluster 설치 es-master는 마스터 es-client1는 데이터, es-client2는 데이터, es-client3는 데이터 cluster.name: es-demo node.name: node-1   (각각node-2, node-3으로 설정) node.master: true      (마스터 노드만 true로 설정, 데이터 노드는 false) node.data: false          (마스터 노드만  false 로 설정, 데이터 노드는 true) 기동 장애 발생 시 대응.. rm -rf /var/lib/elasticsearch/nodes/0 로 데이터 삭제 후, 재설정 실행 결과 es-client1, es-client2, es-client3에 각각 분산되어 데이터 수집 보나스 테스트(Metricbeat로 apache,system 모니터링) [root@localhost modules.d]# metricbeat modules list Enabled: apache system vi apache.yml # Module: apache # Docs: https://www.elastic.co/guide/en/beats/metricbeat/6.4/metricbeat-module-apache.html – modu