using docker(# delete all images)

docker에서 image 컨트롤 하기 ## list docker images [root@kylin ~]# docker images REPOSITORY                  TAG                 IMAGE ID            CREATED             SIZE <none>                      <none>              301e9cdfb430        15 minutes ago      202 MB <none>                      <none>              bff5a7192151        13 hours ago        64.2 MB <none>                      <none>              6cbb0afcaacc        14 hours ago        64.2 MB <none>                      <none>              c450412ba8f1        15 hours ago        120 MB <none>                      <none>              4ab8e74ee739        15 hours ago        311 MB <none>                      <none>              0a848886a22d        21 hours ago        311 MB docker.io/ubuntu            18.04               a2a15febcdf3        45 hours ago        64.2 MB docker.io/ubuntu            latest              a2a15febcdf3        45 hours ago 

using docker(# delete containers images)

docker에 설치된 images container 삭제 1. 환경준비     centos 7.6     docker 2.backup container [root@kylin ~]# docker ps -a CONTAINER ID        IMAGE                 COMMAND                  CREATED             STATUS                     PORTS                                              NAMES 9dde9553ec15        kiwenlau/hadoop:1.0   "sh -c 'service ss..."   49 minutes ago      Up 49 minutes                                                                 hadoop-slave2 8eb410685505        kiwenlau/hadoop:1.0   "sh -c 'service ss..."   49 minutes ago      Up 49 minutes                                                                 hadoop-slave1 e6188acca7ea        kiwenlau/hadoop:1.0   "sh -c 'service ss..."   49 minutes ago      Up 49 minutes              0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp   hadoop-master 546c2d4a41fb        hadoop1               "/bin/bash"              47 hours ago        Up 47 ho

install hadoop cluster with docker

이미지
docker에 설치된 데이터들을 backup -> restore 해보기 1. 환경준비     centos 7.6     docker 2.install hadoop [root@kylin ~]# docker pull kiwenlau/hadoop:1.0 Trying to pull repository docker.io/kiwenlau/hadoop ... 1.0: Pulling from docker.io/kiwenlau/hadoop 6c953ac5d795: Pull complete 3eed5ff20a90: Pull complete f8419ea7c1b5: Pull complete 51900bc9e720: Pull complete a3ed95caeb02: Pull complete bd8785af34f8: Pull complete bbc3db9806c0: Pull complete 10b317fed6db: Pull complete ff167c65c3cc: Pull complete b6f1a5a93aa5: Pull complete 21f0d52e6cae: Pull complete 35ebd7467cfb: Pull complete Digest: sha256:e4fe1788c2845c857b98cec6bba0bbcd5ac9f97fd3d73088a17fd9a0c4017934 Status: Downloaded newer image for docker.io/kiwenlau/hadoop:1.0 3.exec hadoop [root@kylin ~]# git clone https://github.com/kiwenlau/hadoop-cluster-docker Cloning into 'hadoop-cluster-docker'... remote: Enumerating objects: 392, done. remote: Total 392 (delta 0), reused 0 (delta 0), pack-reus

using docker(# file copy container-host)

docker container의 데이터들을 copy 해보기 1. 환경준비     centos 7.6     docker 2. docker container list [root@kylin ~]# docker ps -a CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES 546c2d4a41fb        hadoop1             "/bin/bash"         45 hours ago        Up 45 hours                             hello2 a9bb5aa82130        hadoop1             "/bin/bash"         2 days ago          Up 2 days                               hello 3.hello container 에서 localhost로 파일 복사 [root@kylin ~]# docker cp hello:/root/.ssh/authorized_keys ./ [root@kylin ~]# ls anaconda-ks.cfg  authorized_keys  hadoopct.tar  initial-setup-ks.cfg [root@kylin ~]# 4.localhost에서 hello container 로 파일 복사 [root@kylin ~]# docker cp ./authorized_keys hello2:/root/.ssh/ [root@kylin ~]# docker exec -it hello2 bash [root@546c2d4a41fb /]# ls anaconda-post.log  dev  hadoop-3.1.2         home  lib

using docker(# export import container)

docker에 설치된 데이터들을 backup -> restore 해보기 1. 환경준비     centos 7.6     docker 2.backup container [root@kylin hbase-2.2.0]# docker ps -a CONTAINER ID        IMAGE                             COMMAND                  CREATED             STATUS                          PORTS               NAMES 73b1430f15b7        centos                            "/bin/bash"              2 minutes ago       Exited (0) About a minute ago                       hbasemaster 4c865448f160        centos:7                          "init"                   30 hours ago        Up 30 hours                                         namenode 3418386aa3a9        ubuntu                            "/bin/bash"              46 hours ago        Exited (100) 31 hours ago                           hadoop-base 77b64bf03966        kyligence/superset-kylin:latest   "bin/bootstrap.sh ..."   2 days ago          Exited (137) 47 hours ago                           kylin

using kylin (#1 install hadoop)

kylin 설치 그리고 superset과의 연계를 통해서 BI분석을 수행해보자. 1. 환경준비     centos 7.6     docker     hadoop 3.1.2 2.install hadoop  on centos7 [root@kylin client-conf]# docker pull centos:7 Trying to pull repository docker.io/library/centos ... 7: Pulling from docker.io/library/centos 8ba884070f61: Pull complete Digest: sha256:a799dd8a2ded4a83484bbae769d97655392b3f86533ceb7dd96bbac929809f3c Status: Downloaded newer image for docker.io/centos:7 [root@kylin client-conf]# docker run --privileged -d --name namenode centos:7 init 4c865448f160ea24d79a15d687073b170cf9301af37f770a0e810a0ae83b9941 [root@kylin client-conf]# [root@kylin client-conf]# docker exec -it namenode bash [root@4c865448f160 /]# [root@4c865448f160 /]# yum -y install net-tools Loaded plugins: fastestmirror, ovl Determining fastest mirrors  * base: mirror.kakao.com  * extras: mirror.kakao.com  * updates: mirror.kakao.com base