고양이 블로그

AWS 도메인 구입 및 적용 [01.] 도메인 구입 AWS Route53 서비스의 대시보드로 접속 대시보드의 도메인 등록란에서 원하는 도메인 검색 및 선택 요금 / 연락처 정보 / 검토 및 제출 3가지 단계 입력 Route53 왼쪽 탐색 창에서... Read More

Jetson AGX Xavier 초기 설정 - 팬&성능 설정, 고정아이피 부여, SSH 외부접속 [00.] jetson-stats 설치 jetson-stats는 NVIDIA Jetson 시리즈 보드를 분석, 모니터링 및 제어할 수 있도록 도와주는 도구 sudo apt-get install python3-pip su... Read More

Jetson AGX Xavier - SSD를 부팅 디스크로 만들기 Jetson AGX Xavier는 기본 스토리지 32GB를 제공하지만, 매우 적은 용량이기 때문에 SSD를 추가하고, 그 SSD를 부팅 디스크로 사용하고자 함 [00.] 준비사항 Jetson AGX Xavier M.2 NVMe SSD [01.] SSD 장착 ... Read More

Jetson AGX Xavier 초기화 및 JetPack 설치 [00.] 준비사항 Jetson AGX Xavier ubuntu PC CtoC 또는 CtoA 케이블 [01.] 초기화 젯슨이 꺼진 상태에서 진행(불이 안 들어와야 함) 밑 사진의 가운데 버튼인 리커버리 버튼을 누른 상태에서 왼쪽 전원버튼을 누름 불이 ... Read More

패스트캠퍼스 kubernetes와 docker로 한 번에 끝내는 컨테이너 기반 msa 완강후기 강의 정보 강의형태 : 데트크탑, 노트북, 모바일 등 온라인 수강 수강 기간 : 평생 소장 교육 과정 소개서 : [link] 강의 시간 : 169시간 13분 강의 목표 Docker를 활용해 컨테이너 방식... Read More

우분투 네트워크 설정 유선랜 설정 sudo lshw -c network 이더넷과 와이파이 모두 *-network DISABLED 로 나옴 sudo netplan try 위 명령어 실행시 /etc/netplatn/00-installer-config-wifi.yaml 의 access-points가 없다는 오류 메시지... Read More

Docker 이미지 저장경로 변경 [00.] 현재 Docker 데이터 저장 위치 확인 docker info | grep "Docker Root Dir" 디폴트 값인 현재 저장 위치 /var/lib/docker 출력됨 [01.] Docker 서비스 설정파일 수정 vi /lib/systemd/system/docker.ser... Read More

Docker GPU 설정 💡 개발환경 AWS EC2 / ubuntu 22.04 / 16GB / 500GB / g4dn.xlarge (nvidia t4, 16GB) [00.] 기존 설치되어 있는 Docker 제거 sudo apt-get remove docker docker-engine docker.io... Read More

Remote Desktop 이용해 AWS EC2 Ubuntu GUI 연결 💡 개발환경 Server - AWS EC2 Ubuntu 22.04 Local PC - MacOS(Intel) [01.] EC2 Server # 패키지 매니저 업데이트 sudo apt update ## 패키지 설치 sudo apt install ubuntu-des... Read More

클라우드 환경에서 Docker를 이용해 Cloudera Manager CDH 6.3.2 설치 ❗ 해당 포스트는 cdh 6.3.2 설치 파일을 가지고 있다는 점을 전제로 함 더이상 cloudera에서 6.3.2버전을 지원하지 않음 다른 버전의 CDH도 cloudera 구독을 해야 다운 가능한 것으로 보... Read More

AWS EC2 메모리 스왑 01. 현재 메모리 확인 free -h 02. swap메모리 8GB(128MB * 64) 할당 dd 명령어로 8GB(128MB*64)의 swqp 메모리를 할당하는데, 여기서 bs는 블록의 크기이고, count는 블록의 수 sudo dd if=/dev/zero of=/swapfil... Read More

우분투 한글 깨짐 해결하기 우분투 서버에서 한글 파일 이름이 위 사진처럼 표현되는데, 내내 잘 쓰다가 갑자기 거슬림 01. language-pack-ko 패키지 설치 apt-get install language-pack-ko 02. 로케일 설치 locale-gen ko_KR.UTF-8 03. 패키지 재설정... Read More

카프카 커넥트 카프카 커넥트는 카프카에서 공식적으로 제공하는 컴포넌트 중 하나로 카프카에서 데이터 파이프라인을 반복적으로 만들어내고 개발하고 운영할 때 효과적 카프카 커넥트는 커넥트와 커넥터로 이루어져 있음 커넥트는 커넥터를 동작하도록 실행해주는 프로세스 파이프라인으로 동작하는 커넥터를 동작하기 위해서는 커넥트를 실행시... Read More

카프카 스트림즈 애플리케이션 카프카 스트림즈는 카프카 컨슈머를 사용해서 데이터를 처리하는 것보다 더 안전하고 빠르면서도 다양한 기능을 사용할 수 있는 기술로, 카프카에서 공식적으로 제공하는 자바 라이브러리로 토픽에 있는 데이터를 낮은 지연과 함께 빠른 속도로 데이터를 처리할 수 있음 라이브러리로 제공되기 때문에 자바나 ... Read More

카프카 컨슈머 애플리케이션 카프카 컨슈머의 동작은 다른 메시징 시스템들과는 다소 다름 다른 메시징 시스템들 같은 경우 컨슈머가 데이터를 가져가면 큐 내부 데이터가 사라지는데, 카프카에서는 컨슈머가 데이터를 가져가더라도 데이터가 사라지지 않음 이와 같은 특징은 카프카, 카프카 컨슈머를 데이터 파이프라인으로 운영하는데 핵심적인... Read More

카프카 프로듀서 애플리케이션 프로듀서의 역할 토픽에 해당하는 메시지를 생성 토픽에 전송할 메시지 생성 특정 토픽으로 데이터를 publish 특정 토픽으로 데이터를 전송 처리 실패/재시도 카프카 브로커로 데이터를 전송할 때, 전송... Read More

ROS2 기초 [1] - Docker 환경에서 ROS2 Turtlesim 실행 01. XQuartz(X11) 설치 및 설정 (Intel MacOS 기준) 해당 포스트는 실제 로봇이 아닌 Tutlesim 시뮬레이터를 이용해 실제 로봇을 제어하는 것처럼 GUI를 통해 로봇을 제어 X11을 이용하여 Docker 환경에... Read More

[PyCharm] SSH 연결 및 동기화 SSH 연결 및 동기화 SSH 연결 파이참 실행 → 새 프로젝트 → 순수 Python → 이전에 구성된 인터프리터 → 인터프리터 추가(…모양) 참고 이미지 SSH 인터프리터 → 호스트 주소 ... Read More

AWS에 카프카 클러스터 설치, 실행하기 01. AWS ec2 인스턴스 3개 생성 3개의 브로커로 클러스터를 구성할 것이기 때문에 3개의 서버를 사용 OS 이미지 : ubuntu 22.04 LTS 인스턴스 유형 : t2.micro 02. 각 인스턴스에 인바운드 규칙 추가 ... Read More

이벤트 브로커와 메시지 브로커의 차이점 Kafka, RabbitMQ, Redis 등 메시징 플랫폼은 메시지 브로커와 이벤트 브로커 두 가지 종류로 나뉨 1. 메시지 브로커 메시지 브로커는 많은 기업들에서 대규모 메시지 기반 미들웨어 아키텍처에서 사용되어 옴 메시지 브로커에 있는 큐에 데이터를 보내고 받는 프로듀... Read More

컨슈머 랙(Lag) 모니터링 애플리케이션 - 카프카 버로우(Burrow) 카프카 랙은 토픽의 가장 최신 오프셋과 컨슈머 오프셋간의 차이 kafka-client 라이브러리를 사용해서 java 또는 scala와 같은 언어를 통해 카프카 컨슈머 구현 가능 이 때 구현한 kafkaConsumer 객체를 통해 현재... Read More

컨슈머 랙(Consumer Lag) 컨슈머 랙은 카프카를 운영하는 데 있어 가장 중요한 모니터링 지표중 하나 카프카 프로듀서는 토픽의 파티션에 데이터를 차곡차곡 넣는데, 이 파티션에 데이터가 하나하나씩 들어가게 되면 각 데이터는 오프셋이라고 하는 숫자가 붙게 됨 오프셋은 0부터 시작해 이전에 전송된 레코드의 오프셋 +1을 값... Read More

파티셔너(Partitioner) 프로듀서가 데이터를 보내면 파티셔너를 통해서 브로커로 데이터를 전송 파티셔너는 데이터를 토픽에 어떤 파티션에 넣을지 결정하는 역할 레코드에 포함된 메시지 키 또는 메시지 값에 따라서 파티션의 위치가 결정 프로듀서를 사용할 때 파티셔너를 따로 설정하지 않는다면 UniformStick... Read More

윈도우 지우고 서버용 우분투 설치 집에 노는 컴퓨터가 있어 개인용 서버로 사용하기 위해 ubuntu를 설치하고자 함 어떻게 활용할지는 차차 생각하고 해당 포스트에서는 윈도우를 밀고 ubuntu를 설치하는 방법에 대해 다루고, 이후 서버 관련 설정과 서버를 활용하는 포스팅을 할 예정 01. 윈도우 PC 포맷 (Windows 10 기준) ... Read More

브로커, 복제, ISR(In-Sync-Replication) 복제(replication)는 카프카 아키텍쳐의 핵심으로, 클러스터에서 서버가 장애가 생길 때 가용성을 보장하는 가장 좋은 방법이 복제 카프카 브로커는 카프카가 설치되어 있는 서버 단위를 말하며, 보통 3개 이상의 broker로 구성하여 사용하는 것... Read More

토픽 카프카에는 다양한 데이터가 들어갈 수 있는데, 그 데이터가 들어가는 공간을 토픽이라고 부름 토픽은 일반적인 AMQP(Advanced Message Queuing Protocol)와 다소 다르게 동작 카프카에서는 토픽을 여러개 생성할 수 있음 토픽은 데이터베이스의 테이블이나 파일시스템의 폴더와 유사한 성질을 가... Read More

아파치 카프카 개요 카프카를 본격적으로 공부하기 앞서 인프런의 “[데브원영] 아파치 카프카 for beginners” 강의를 통해 카프카 기본 지식을 습득 하고자 함 강의 링크 : https://www.inflearn.com/course/아파치-카프카-입문/dashboard Before Kafka 데이터를 ... Read More

AWS SSL 인증서 발급 및 https적용 ACM(AWS Certificate Manager) AWS certificate Manager 접속 “요청” 버튼 클릭 “퍼블릭 인증서 요청” 선택 → 다음 도메인 이름 작성 후 “요청” 클릭 💡 도메인 이름에 와일드카드(*) 사용 가능 ex) *.[doma.in](http://d... Read More

chromedriver_autoinstaller import chromedriver_autoinstaller from selenium import webdriver import os chrome_ver = chromedriver_autoinstaller.get_chrome_version().split('.')[0] dr... Read More

.gitignore 적용이 안 돼요… push를 했는데 .gitignore에 작성되어 있는 파일이 예외없이 다 올라갑니다… cach 삭제 (실제 파일을 삭제 하는 것이 아님. 가벼운 마음으로 눌러도 됨) git rm -r --cached . git add → commit → push 진정하고 캐시 파일을 제거한 뒤,... Read More

AWS EC2 디스크 용량 늘리기(ubuntu) EC2 → 인스턴스 → 적용할 인스턴스 선택 스토리지 → 볼륨 ID 클릭 → 볼륨 선택 → 작업 → 볼륨 수정 → 볼륨 크기 입력 후 수정 lsblk 기존 30G에서 40G로 늘어났지만, 루트에는 적용이 되지 않음 sudo growpart /dev/xvda 1 파티션 크... Read More

Dockerfile 작성을 위한 주요 명령 Dockerfile이란 docker 이미지를 작성할 수 있는 기능 Dockerfile 문법으로 이미지 생성을 위한 스크립트를 작성할 수 있고, 이를 기반으로 이미지를 생성할 수 있음 나만의 이미지를 생성할 수 있고, 배포를 위해서도 많이 활용하는 기... Read More

Docker 주요 명령어 💡 주황색 표시된 명령어만 잘 쓸 수 있으면 됨! docker search {image name} : 이미지 검색 ex) docker search ubuntu : ubuntu 이미지 검색 docker search —limit-5 ubuntu : 5개 까지 검색 docker pull ... Read More

docker 및 docker-compose 설치 (ubuntu) Docker 설치 1. 최신 패키지 리스트 업데이트 sudo apt update 2. docker 다운로드를 위해 필요한 https 관련 패키지 설치 sudo apt install -y apt-transport-https ca-certifi... Read More

반복문- break & continue with label 💡 break - 반복문에서 break label 코드가 실행되면, 해당 label을 완전히 벗어남 continue - 반복문에서 continue label 코드가 실행되면, label 밑 가장 처음 반복문의 루프를 넘김 break label // EX1) package main impo... Read More

notion2gitblog 노션에서 작성한 글을 편하게 블로그로 옮기기 위해 작성했습니다. https://github.com/uuuseok/notion2gitblog 코드는 위 링크에서 확인 notion2gitblog notion(ver 2.1.4)에서 작성하여 export한 페이지를... Read More

반복문 - break & continue Break 반복문에서 break를 만나면 break를 가지고 있는 for문(가장 가까운 for문)을 벗어나, 해당 루프 이하를 실행하지 않음 다음 최상위 for문의 루프 실행 for i:=0; i<3; i++ { for j:=0; j<3; j++ { if j==1 { break } fmt.Prin... Read More

반복문- for // 기본적인 for문 for i := 0; i < 5; i++ { fmt.Println(i) } // 0,1,2,3,4 // 무한루프 for { fmt.Println(1) } // example 1 sum1 := 0 for i := 0; i <= 100; i++ { sum1 += i } fmt.Println(sum1) // 5050 // examp... Read More

제어문 - switch switch package main import "fmt" func main() { // switch 뒤 표현식 생략 가능 // case 뒤 표현식 사용 가능 // 값이 아닌 type으로도 분기 가능 // switch문 기본 형태 num := 0 switch { case num > 0: fmt.Print... Read More

깃허브 블로그 검색엔진 등록(네이버, 구글, 다음) sitemap.xml 생성 웹사이트 내 모든 페이지의 목록을 나열한 파일로, 일반적인 크롤링 과정에서 쉽게 발견되지 않는 웹페이지도 문제없이 크롤링되고 색인될 수 있음 sitemap.xml sitemap.xml 링크 ... Read More

포스트를 읽기 전에 git과 docker가 설치 되어 있어야 합니다. git과 docker에 대한 어느정도 이해가 있다는 가정하에 작성 위에 해당되지 않는다면 하단의 참고 링크를 추천합니다. 깃허브 블로그 만들기 Git Repository 만들기 Repository n... Read More

제어문 -if if package main import "fmt" func main() { // Go의 if문은 반드시 Boolean형으로 검사(0,1 이 아닌 false, true) var a int = 20 if a >= 15 { fmt.Println("15 이상") } if true { fmt.Println("True") } ... Read More

열거형 - iota 상수를 사용하는 일정한 규칙에 따라 숫자를 계산 및 증가시키는 묶음 package main import "fmt" func main(){ //iota를 이용한 상수 선언 const( A = iota //0 B //1 C //2 ) //iota의 증가하는 특성을 이용한 수식을 만들 수 있음 const( Jan = iota +... Read More

상수 const 선언과 동시에 초기화 돼야 함 한 번 선언 후 값 변경 금지 고정된 값 관리용 package main import "fmt" func main() { const a strgin = "Test1" const b = "Test2" const c = 45.6 const d,e int = 1,2 const f,g = true, 3.52, "... Read More

변수 선언 var a int var b string var c float32 var d,e bool a = 5 // 선언이 된 변수이기 때문에, 값만 초기화 b = "Hello" c = 3.5 d,e = true, false 선언 및 초기화 var f,g,h int = 1,2,3 var i float32 = 5.6 선언 동시 초기화 var j = 4.7 var k,l... Read More

글씨체 italic bold italic bold 블록 인용구 This is block quore I can highlight lines And also do on multipe levels! 코드 inline code 1 2 3 4 import numpy as np [x for x in range... Read More