GPG 키로 github commit에 서명하기GPG는 PGP의 오픈소스 구현체로 통신 보안을 위한 도구입니다. 이번 포스트에는 GPG 공개키와 개인키를 생성하고, github에 공개키를 알려준 뒤 개인키로 서명된 커밋을 push해 github가 서명을 검증하는 과정을 실습하려 합니다.Feb 3Feb 3
스파크 첫번째 애플리케이션 만들기.Python을 이용한 스파크 API인 pyspark를 이용해 간단한 쿼리문으로 구성된 스파크 애플리케이션을 작성하고 실행하려 합니다. 이 포스트는 러닝 스파크 2판서적을 통해 공부한 내용을 기반으로 작성되었습니다.Jan 24Jan 24
Ubuntu 환경에서 Apache Spark 설치하기아파치 스파크(Apache Spark)는 대규모 분산 데이터 처리를 위해 설계된 통합형 엔진입니다. 이번 포스트에서는 ubuntu 서버 환경에 spark를 설치하고, 구성하는 방법에 대해 알아보려고 합니다.Jul 17, 2023Jul 17, 2023
[K8s] 디플로이먼트(Deployment) 구성·업데이트·스케일링하기디플로이먼트(Deployment)는 파드 또는 레플리카셋의 선언적 업데이트를 제공하는 워크로드입니다. 디플로이먼트를 YAML 형식으로 구성, 생성하고 디플로이먼트의 대표적인 기능인 롤 아웃과 롤 백 업데이트에 대해 알아보려고 합니다.Jul 1, 2023Jul 1, 2023
[K8s] 레플리카셋(ReplicaSet) 구성·생성·편집·삭제하기레플리카셋은 파드 집합의 실행을 안정적으로 유지하는데 목적을 갖춘 쿠버네티스 워크로드입니다. 레플리카셋의 개념과 YAML 구성 방법에 대해 알아보고 kubectl 명령줄 도구를 이용한 생성, 편집, 삭제 방법에 대해 알아봅니다.Jun 19, 2023Jun 19, 2023
[K8s] 파드(Pod)를 구성하고 클러스터에 생성·삭제하기쿠버네티스 클러스터의 오브젝트인 파드(Pod)에 대해 알아보고, 파드를 구성해 생성하고 삭제하는 방법에 대해 알아봅니다.Jun 13, 2023Jun 13, 2023
쿠버네티스의 구조와 Minikube 환경 구성하기쿠버네티스는 컨테이너화된 워크로드와 서비스를 관리하기 위한 오픈소스 플랫폼입니다. 쿠버네티스의 구성 요소를 알아보고 쿠버네티스의 가벼운 구현체인 Minikube를 리눅스 서버에 설치해 실습을 위한 쿠버네티스 클러스터를 구성해보고자 합니다.Jun 6, 2023Jun 6, 2023
ETL과 ELT의 차이와 장단점다양한 소스에 분산되어있는 데이터들을 한 곳에 모으는 방법으로 ETL 과정과 ETL 과정이 많이 사용됩니다. 두 과정의 특징들을 비교해보고 장단점과 적절한 사용례에 대해 알아보려고 합니다.Jun 1, 2023Jun 1, 2023
BigQuery A-Z: 2. Python에서 활용하기.GUI 환경이 아닌 CLI 서버 환경을 가정하고 Python과 Google Cloud 라이브러리를 이용한 BigQuery 작업; 데이터셋 생성, 테이블 생성, 쿼리문 실행에 대해 포스트해보았습니다.May 26, 2023May 26, 2023
BigQuery A-Z: 1. 대시보드에서 사용하기.BigQuery를 처음 접하시는 분들을 위해 BigQuery가 다른 DBMS와 비교되는 특징에 대해 알아보고, Google Cloud 콘솔 대시보드에서 데이터셋과 테이블을 생성하고 쿼리를 작성하는 방법에 대해 포스트해보았습니다.May 19, 2023May 19, 2023