본문으로 건너뛰기

"kubernetes" 태그로 연결된 9개 게시물개의 게시물이 있습니다.

모든 태그 보기

· 약 2분
Andes Noh

순서#

  • vpc 구성(1)#

  • eks cluster 생성(2)#

  • worknode 생성 및 확인(3) - ★#

  • eks 삭제(4)#

worknode 생성 및 확인#

  • 노드 그룹용 role 생성#

    • iam -> 역할 -> 역할 만들기
    • 세팅 setting
    • 권한() auth
    • 역할 이름 확정 및 생성

  • 노드 그룹 추가#

    node group

  • 노드 그룹 구성#

    • 세팅 setting
      • 이름 및 노드 그룹용 역할 선택
    • 다음

  • 컴퓨터 및 조정 구성 설정#

    • 세팅 setting
    • 나머지 그대로, 노드 그룹 조정 크키의 최대 크기 2 -> 3으로 변경
    • 다음

  • 네트워킹 지정#

    • 세팅 setting
    • 서브넷 -> private 서브넷 2개 선택
    • 노드에 대한 SSH 엑세스 구성 활성화
    • SSH 키페어 -> vpc 구성하면선 만든 Bastion 서버 키선택
    • 보안 그룹 -> Bastion-SG 선택
    • 위 과정을 통해 Bastion 서버에서 worknode로 ssh 접속 가능

  • 생성 완료(수분 소요)#

    • 생성완료 complete

  • Bastion 서버 접속 및 user 등록#

    • ssh -i 'Bastion.pem' ec2-user@ip로 접속
    • aws configure로 user 등록

  • kubectl 설치 및 확인#

curl -o kubectl https://s3.us-west-2.amazonaws.com/amazon-eks/1.22.6/2022-03-09/bin/linux/amd64/kubectlchmod +x ./kubectlmkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$PATH:$HOME/binecho 'export PATH=$PATH:$HOME/bin' >> ~/.bashrckubectl version --short --client

  • eksctl 설치 및 확인#

curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmpsudo mv /tmp/eksctl /usr/local/bineksctl version

  • kubeconfig update#

aws eks update-kubeconfig --region '지역이름' --name 'eks 클러스터 이름'

  • 클러스터 및 노드 확인#

    check

· 약 2분
Andes Noh

순서#

  • vpc 구성(1)#

  • eks cluster 생성(2)#

  • worknode 생성 및 확인(3) - ★#

  • eks 삭제(4)#

worknode 생성 및 확인#

  • 노드 그룹용 role 생성#

    • iam -> 역할 -> 역할 만들기
    • 세팅 setting
    • 권한() auth
    • 역할 이름 확정 및 생성

  • 노드 그룹 추가#

    node group

  • 노드 그룹 구성#

    • 세팅 setting
      • 이름 및 노드 그룹용 역할 선택
    • 다음

  • 컴퓨터 및 조정 구성 설정#

    • 세팅 setting
    • 나머지 그대로, 노드 그룹 조정 크키의 최대 크기 2 -> 3으로 변경
    • 다음

  • 네트워킹 지정#

    • 세팅 setting
    • 서브넷 -> private 서브넷 2개 선택
    • 노드에 대한 SSH 엑세스 구성 활성화
    • SSH 키페어 -> vpc 구성하면선 만든 Bastion 서버 키선택
    • 보안 그룹 -> Bastion-SG 선택
    • 위 과정을 통해 Bastion 서버에서 worknode로 ssh 접속 가능

  • 생성 완료(수분 소요)#

    • 생성완료 complete

  • Bastion 서버 접속 및 user 등록#

    • ssh -i 'Bastion.pem' ec2-user@ip로 접속
    • aws configure로 user 등록

  • kubectl 설치 및 확인#

curl -o kubectl https://s3.us-west-2.amazonaws.com/amazon-eks/1.22.6/2022-03-09/bin/linux/amd64/kubectlchmod +x ./kubectlmkdir -p $HOME/bin && cp ./kubectl $HOME/bin/kubectl && export PATH=$PATH:$HOME/binecho 'export PATH=$PATH:$HOME/bin' >> ~/.bashrckubectl version --short --client

  • eksctl 설치 및 확인#

curl --silent --location "https://github.com/weaveworks/eksctl/releases/latest/download/eksctl_$(uname -s)_amd64.tar.gz" | tar xz -C /tmpsudo mv /tmp/eksctl /usr/local/bineksctl version

  • kubeconfig update#

aws eks update-kubeconfig --region '지역이름' --name 'eks 클러스터 이름'

  • 클러스터 및 노드 확인#

    check

· 약 2분
Andes Noh

순서#

  • vpc 구성(1)#

  • eks cluster 생성(2) - ★#

  • worknode 생성 및 확인(3)#

  • eks 삭제(4)#

eks cluster 생성#

  • 기존 VPC 구성도#

    vpc

  • role 생성#

    • IAM 로그인 -> IAM 검색 -> 역할(엑세스 관리) -> 역할 만들기
    • 사용 사례 EKS-Cluster 선택 role create
    • 권한 추가 -> 다음
    • 이름 지정(EKS-ControlPlane-Role), 검토 및 생성 -> 역할 생성
    • 역할 생성 완료 확인 role create complete

  • 보안 그룹 생성#

    • vpc 검색 -> 보안그룹 -> 보안 그룹 생성 SG create

  • eks 생성#

    • eks 검색 -> 클러스터 추가 -> 생성
    • 클러스터 구성 eks create1
      • 이름: EKS-Cluster
      • 버전: 기본
      • 서비스 역할: EKS-ControlPlane-Role
    • 네트워킹 지정 net
      • VPC: EKS-VPC
      • 서브넷: pub, pri 각각 2개씩 모두 선택(후에 private subnet에 존재하는 워크 노드들의 외부 통신을 대비해 public subnet도 포함해 클러스터 생성)
      • 보안 그룹: 위에서 생성한 보안 그룹 선택
    • 클러스터 엔드포인트 엑세스 ep
      • 프라이빗 선택
    • 로깅 구성 logging
    • 검토 및 생성 -> 생성

  • eks 생성중(수분 소요)#

    creating

  • eks 생성 완료#

    complete

· 약 7분
Andes Noh

순서#

  • vpc 구성(1) - ★#

  • eks cluster 생성(2)#

  • worknode 생성 및 확인(3)#

  • eks 삭제(4)#

vpc 구성하기#

  • VPC(Virtual Private Cloud) 란#

    • 사용자가 정의한 가상의 네트워크 환경
    • 정의한 네트워크 환경을 바탕으로 다양한 서비스 이용 가능
    • 가장 기본적인 vpc 구성도 vpc

  • vpc 생성(무료)#

    • IAM 로그인 -> vpc 검색 -> vpc 생성 클릭
    • 세팅 vpc create
    • 이름태그: 원하는 이름태그 작성(ex: EKS-TEST-VPC)
    • IPv4 CIDR: VPC의 아이피 대역 지정(여기서는 192.168.0.0/16 대역 사용)
    • 생성

  • 서브넷 생성(무료)#

    • 좌측 메뉴 서브넷 클릭 -> 서브넷 생성 클릭 subnet create
    • VPC ID: 기존 생성한 vpc 선택
    • 서브넷 이름: public 서브넷 2개, private 서브넷 2개 총 4개의 서브넷을 구분 가능하게 생성(ex: pub-a, pri-a, pub-c, pri-c)
    • 가용영역: 기본적인 구성도(AZ)참고, 이 글에서는 ap-northeast-2a와 ap-northeast-2c를 사용, 서브넷 이름 뒤의 알파벳이 AZ를 나타냄
    • IPv4 CIDR: 서브넷의 IPv4 지정, 기억 하기 쉽게 지정해야 확장시 혼란이 적음
      • pub-a: 192.168.10.0/24
      • pri-a: 192.168.11.0/24
      • pub-c: 192.168.20.0/24
      • pri-c: 192.168.21.0/24
    • 총 4개의 서브넷 생성

  • 인터넷 게이트웨이 생성(무료)#

    • 인터넷 통신을 위한 GW
    • 좌측 메뉴 인터넷 게이트웨이 클릭 -> 인터넷 게이트웨이 생성 클릭 IGW create
    • 이름태그: 원하는 이름태그 작성(ex: EKS-TEST-IGW)
    • 1개의 IGW 생성

  • NAT 게이트웨이 생성(유료: 만든 순간부터 과금, 테스트를 위해 만든다면 테스트후 삭제할것)#

    • 외부와 통신이 안되는 private-subnet이 외부와의 통신을 위해 연결하는 GW
    • 좌측 메뉴 NAT 게이트웨이 클릭 -> NAT 게이트웨이 생성 클릭
    • 각 AZ 별로 생성 NAT create
    • 이름 - 구분 가능하게 생성(라우팅 테이블 연결시 혼란 방지)
    • 서브넷: NAT GW를 생성할 서브넷 선택, private-subnet의 통신을 위해 만드는것이기때문에 혹시 private-subnet 안에 위치해야 한다고 생각할수 있지만 public-subnet에 위치해야 RT를 통해 통신 가능, 기존에 만든 ap-northeast-2a와 ap-northeast-2c의 public-subnet안에 각각 생성
    • 연결 유형: 퍼블릭
    • 탄력적 IP 할당 ID: 탄력적 IP 할당 클릭 해서 할당(한개의 탄력적 IP는 무료지만 2개이상부터는 과금 발생)
    • 총 2개의 NAT GW 생성

  • 라우팅 테이블 생성(무료)#

    • 좌측 메뉴 라우팅 테이블 -> 라우팅 테이블 생성 클릭

    • 서브넷이 4개이므로 4개의 라우팅 테이블 필요 RT create

    • 이름: 원하는 이름 지정, 총 4개를 만들어야하므로 혼란 방지를 위해 구분가능하도록 설정

    • VPC: 기존에 만든 VPC 선택

    • ※라우팅 테이블 연결

      • public subnet case

        • pub-a용으로 만든 라우팅 테이블 ID 클릭
        • 하단 라우팅 편집 클릭 -> 라우팅 추가 클릭 후 왼쪽 대상 0.0.0.0/0, 오른쪽 대상 인터넷 게이트웨이 선택 후 기존에 만든 게이트웨이 선택 후 변경사항 저장 RT setting
        • 서브넷 연결 -> 명시적 서브넷 연결 -> 서브넷 연결 편집 클릭
        • pub-a 서브넷 체크 및 연결 저장
        • 명시적 서브넷 연결 확인
        • pub-c도 위와 같은 방식으로 연결
      • private subnet case

        • pri-a용으로 만든 라우팅 테이블 ID 클릭
        • 하단 라우팅 편집 클릭 -> 라우팅 추가 클릭 후 왼쪽 대상 0.0.0.0/0, 오른쪽 대상 NAT 게이트웨이 선택 후 ap-northeast-2a용으로 만든 NAT GW 선택 후 변경사항 저장
        • 서브넷 연결 -> 명시적 서브넷 연결 -> 서브넷 연결 편집 클릭
        • pri-a 서브넷 체크 및 연결 저장
        • 명시적 서브넷 연결 확인
        • pri-c도 위와 같은 방식으로 연결
      • public RT의 경우 라우팅에 같은 IGW 연결

      • private RT의 경우 라우팅에 각각 다른 NAT GW 연결

  • Bastion 서버 구성#

    • vpc -> 보안그룹 -> 보안그룹 생성
      • 보안 그룹 이름
      • 설명
      • VPC: 기존 EKS-TEST-VPC 선택
      • 인바운드 규칙 추가
        • 유형: ssh
        • 소스: 가장 좋은건 내 IP지만 다른 장소에서 로그인을 많이 할시 Anywhere 선택(어떤 ip로 접속하든 ssh 접속 가능)
      • 보안 그룹 생성

    • ec2 검색 -> 인스턴스 시작
    • 이름 및 태그: Bastion
    • Amazon Linux 선택(프리티어 머신 이미지 선택)
    • 인스턴스 유형: t2.micro(프리티어)
    • 키페어: 새 키페어 생성 클릭 후 이름 입력 -> 생성
    • 네트워크 설정(편집)
      • VPC: 기존 생성 VPC(EKS-TEST-VPC) 선택
      • 서브넷: pub-a 선택(pub-c도 상관없음)
      • 퍼블릭 IP 자동 할당: 활성화
      • 보안그룹: 기존 보안 그룹 -> 위에서 생성한 보안 그룹 선택
    • 인스턴스 시작

  • Bastion 서버 연결#

    • 인스턴스 ID 클릭
    • 연결 클릭
    • SSH 연결 클릭하여 인스턴스 생성시 다운 받은 .pem 파일과 함께 ssh 접속(putty, mobaxterm)
    • 리눅스나 맥으로 ssh 연결시 .pem 파일 권한 chmod 600 ~.pem으로 권한 변경 후 접속
    • Bastion 서버로 vpc내 다른 인스턴스에 접속 가능

  • 기본 vpc 구성 완료#

· 약 2분
Andes Noh

sed 커맨드 사용하기#

  • sed command를 사용해서 image 변경후 deploy 재배포하기
  • CR: Container Registry

  • test.k8s.yaml 예시#

apiVersion: apps/v1kind: Deploymentmetadata:  labels:    app.kubernetes.io/component: back    app.kubernetes.io/name: test    app.kubernetes.io/part-of: test  name: test  namespace: jenkinsspec:  revisionHistoryLimit: 1  selector:    matchLabels:      app.kubernetes.io/component: back      app.kubernetes.io/name: test      app.kubernetes.io/part-of: test  template:    metadata:      labels:        app.kubernetes.io/component: back        app.kubernetes.io/name: test        app.kubernetes.io/part-of: test    spec:      containers:        - image: ${YOUR CR}:latest          name: app          ports:            - containerPort: 3000          resources: {}---apiVersion: v1kind: Servicemetadata:  labels:    app.kubernetes.io/component: back    app.kubernetes.io/name: test    app.kubernetes.io/part-of: test  name: test  namespace: jenkinsspec:  ports:    - port: 3000      targetPort: 3000  selector:    app.kubernetes.io/component: back    app.kubernetes.io/name: test    app.kubernetes.io/part-of: test
  • image 라인 변경 sed command 예시 및 설명#

pipeline {    agent any
    environment {        dockerHubRegistry = 'dockerHubRegistry'    }
    stages {        stage('Pull') {            steps {                git url: "${GIT_URL}", branch: "main", poll: true, changelog: true            }        }
        stage('...') {
        }        ...
              stage( "Deploy to Cluster" ) {          steps {            script {              ...              sh """              #!/bin/bash              cat test.k8s.yml | grep image              sed -i 's|image: .*|image: "${YOUR _CR}:${YOUR _VERSION}"|' test.k8s.yaml              cat test.k8s.yml | grep image              """              ...            }          }                }    }}
  • 첫번째 라인: test.k8s.yaml파일에서 image 라는 글자가 포함된 라인 출력 및 확인
image: ${YOUR CR}:latest
  • 두번째 라인: test.k8s.yaml의 image로 시작하는 라인을 sed command로 원하는 값으로 변경후 파일에 적용

  • 세번째 라인: 변경된 image 라인 출력 및 확인

image: ${YOUR _CR}:${YOUR _VERSION}

· 약 3분
Andes Noh

k9s로 k8s 주요 명령어 확인#


  • ns#

    • namespace
    • 쿠버네티스 오브젝트를 묶는 하나의 가상공간 또는 그룹
  • pod#

    • pod
    • 컨테이너를 하나 이상 모아 놓은 것으로, 쿠버네티스 애플리케이션의 최소 단위
  • deploy#

    • deployment
    • 애플리케이션 단위를 관리하는 Controller이며, Kubernetes의 최소 유닛인 Pod에 대한 기준 spec을 정의한 Object
  • serivce#

    • service
    • pod의 논리적 집합이며 어떻게 접근할지에 대한 정책은 정의해놓은 것
    • 즉 각 Pod의 IP로는 외부에서 접근이 불가능하지만, 서비스는 이를 가능하게 허용
  • ingress#

    • 클러스터 외부에서 내부 서비스로 접근하는 HTTP, HTTPS 요청들을 어떻게 처리할지 정의해둔 규칙들의 모음
    • 클러스터 외부에서 접근가능한 URL을 사용할 수 있게 하며, 트래픽을 로드밸런싱도 해주고, SSL 인증서 처리를 해주고, 도메인 기반으로 가상 호스팅을 제공
    • 전제조건으로 인그레스 컨트롤러가 있어야 인그레스를 충족(AWS, GCE, Nginx, Treafik)
    • 인그레스 컨트롤러(ingress controller)는 자동으로 실행되지 않으며 클러스터에 가장 적합한 컨트롤러를 선택하여 구현
    • k3s + nginx ingress controller(no traefik)
    • Reference
  • secret#

    • 비밀번호, OAuth 토큰, ssh 키 같은 민감한 정보들을 저장하는 용도
  • Storageclasses#

    • 관리자가 제공하는 스토리지의 "classes"를 설명할 수 있는 방법을 제공

· 약 2분
Andes Noh

ssh 접속을 이용해 local pc에서 remote k3s 살펴보기#


  • 필요 파일#

    • /etc/rancher/k3s/k3s.yaml
    • 참조
  • scp 명령어 사용해서 local 클라이언트쪽으로 k3s.yaml 파일 이동#

    • scp -P [포트] [원격 서버 이름]@[원격서버 아이피]:[가져올 파일 경로] [붙여넣을 경로]
    • 포트는 추가 옵션
    • 소유자 변경 할것
      • 소유자 변경 명령(chown)은 이전 포스팅 확인
  • 원격 서버 ssh접속#

    • ssh [원격 서버 이름]@[원격서버 아이피] -p[포트] -L 6443:localhost:6443
    • -L: 터널링 옵션
    • A가 B에 접근가능, B가 C에 접근가능, A는 C에 접근 불가능일때 -L 사용시 A가 C에 접근가능
    • 이 경우는 k8s default 포트인 6443으로 터널링
  • 추가 터미널 오픈#

    • 위의 접속 터미널은 그대로 두고
    • 아래 명령어 실행
    • export KUBECONFIG=[local 클라이언트쪽으로 복사해온 k3s.yaml 파일 경로]
  • k9s 실행#

    • k9s

· 약 3분
Andes Noh

1. k8s 관련 기본 개념정리#


  • Image#

    • application 실행에 필요한 최소한의 환경(런타임, 라이브러리)을 포함하고 있는 바이너리 파일
    • 컨테이너 실행에 필요한 파일과 설정 값을 포함하고 있는 것
    • Dockerfile이라는 파일을 통해 제작
  • Container#

    • 앱이 구동되는 환경까지 감싸서 실행할 수 있도록 하는 격리 기술
    • 호스트에서 돌아가고 있는 하나의 프로세스
    • 즉 위의 Image를 실행한 상태로 격리된 공간에서 프로세스를 동작 시키는 기술
    • 하나의 Image로 여러개의 컨테이너 생성 가능
  • Docker#

    • 컨테이너를 다루는 도구
    • 즉 컨테이너 런타임중 가장 유명한 플랫폼
    • push, pull, run 명령어등을 통해 이미지를 컨테이너에 띄우고 실행
  • Kubernetes#

    • Docker를 이용해 컨테이너를 분산 배치, 상태 관리, 구동 환경 관리 즉 오케스트레이션 하는 도구

2. k3s 설치#


  • 개념#

    • 컨테이너 관련 기술을 개발하는 Rancher Labs에서 개발한 쿠버네티스
    • 기존 etcd 의존성을 없애고 sqlite를 기본으로 사용
    • 컨테이너 런타임으로 Docker을 대신해 containerd를 사용
    • 설치가 매우 간단
    • 단점으로는 기존 쿠버네티스에서 지원하는 과거 버전 API 미지원
  • 설치 방법#

    • curl -sfL https://get.k3s.io | INSTALL_K3S_EXEC="--no-deploy kubernetes-dashboard" sh -
    • 대쉬보드 설치 X 옵션 추가
    • 대쉬보드 관련해서는 다음 글에서 설명(k9s)
  • 설치 완료#

    k3s

· 약 1분
Andes Noh

1. k9s란?#


  • 개념#

    • 커맨드 라인 도구인 kubectl을 대신해서 쿠버네티스 클러스터를 제어할수 있는 터미널 기반 UI툴

2. k9s 설치#


3. k3s 살펴보기#

  • /etc/rancher/k3s/k3s.yaml 파일을 적당한 폴더로 이동 및 이름 변경#

  • 옮긴 파일의 소유자 변경#

    • sudo chown 'YOUR OWNER':'YOUR GROUP' 'FILE NAME'
  • k9s --kubeconfig /YOUR DIRECTORY/YOUR FILE#

    k9s