춤추는 개발자

버전 확인 conda --version 아나콘다 업데이트 conda update conda 라이브러리 리스트 확인 conda list 라이브러리 설치 # 기본 명령어 conda install {패키지명} # 권장 명령어. 기본 채널에 피키지가 존재하지 않는 경우 PackagesNotFoundError가 발생할 수 있다. conda install -c conda-forge {패키지명} 라이브러리 업데이트 # 특정 라이브러리 업데이트 conda update {패키지명} # 설치되어 있는 모든 라이브러리 업데이트 conda update -all 라이브러리 삭제 conda remove {패키지명} 라이브러리 검색 conda search {패키지명} 아나콘다 환경설정 확인 conda env list conda i..

Consumer Connection Config bootstrap.servers Type: list Default: "" Valid Values: non-null string Importance: high 카프카 클러스터에 처음 연결을 하기 위한 호스트와 포트 정보로 구성된 리스트 정보. fetch.min.bytes Type: int Default: 1 Valid Values: [0,...] Importance: high 한번에 가져올 수 있는 최소 데이터 사이즈. 만약 지정된 사이즈 보다 작은 경우, 요청에 응답하지 않고 데이터가 누적될 때까지 기다림. group.id Type: string Default: null Valid Values: Importance: high 컨슈머가 속한 컨슈머 그룹을 식..

유투브 출처 : 넷플릭스 마이크로 서비스 가이드 - 혼돈의 제왕 강의 순서 1. Introductions 00:00~5:38 2. Microservice Basics 05:39~13:18 3. Challenges & Solutions 13:19 ~ 43:33 1) Dependency 13:19 ~ 25: 02 2) Scale 25:03 ~ 33:33 3) Varience 33:34 ~ 43:33 4) Chagne 43:33~ 45:45 4. Organization & Architecture 46:46~53:13 4. Organization & Architecture 아주 오래전에 "일레트로닉 딜리버리"라 불리는 팀이 있었다. "스트리밍"이라는 단어가 없을때 스트리밍을 했던 서비스 이름이다. 실제로는 하드..

현상 ModuleNotFoundError 발생 import missingno as msno msno.matrix(bike, figsize=(12,5)) --------------------------------------------------------------------------- ModuleNotFoundError Traceback (most recent call last) in ----> 1 import missingno as msno 2 3 msno.matrix(bike, figsize=(12,5)) ModuleNotFoundError: No module named 'missingno' 해결 방법 python 에서 import 하여 사용할때, 기본적인것을 제외한 모듈은 사전에 install을 ..

에러 내용 kafka-manager 설치 후 topic 생성 중에 아래와 broker-0에는 에러가 안나는데 broker-1,2 에는 아래와 같은 에러가 발생하였다. > broker 1 Error [error] k.m.a.c.BrokerViewCacheActor - Failed to get broker metrics for BrokerIdentity(1,DESKTOP-5V2566P.localdomain,-1,false,true,Map(PLAINTEXT -> 9093)) java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled! at scala.Predef$.require(Predef.scala:22..

Consumer 주요기능 특정 파티션을 관리하고 있는 파티션 리더에게 메세지 가져오기를 요청하는 것 각 요청은 로그의 오프셋을 명시하고 그 위치로 부터 로그메시지 수신 그래서 Consumer는 가져온 메세지의 위치를 조정할 수 있고, 필요하다면 이미 가져온 데이터도 다시 가져오기 가능. 가져온 메시지를 다시 가져올 수 있는기능은 RabbitMQ와 같은 일반적인 메세지큐 솔루션에서는 제공하지 않음. (기존 다른 메세징큐 솔루션에선는 Consumer 가 메세지를 가져가면 큐에서 삭제되어 다른 Consumer 가 가져갈 수 없는 것과는 다른 방식임.) Consumer History Consumer 의 offset의 저장 위치에 따라 Old Consumer , New Consumer 로 나뉘어짐 Old Cons..

네이버 클라우드 플랫폼은 어디에 컨테이너를 쓸까? Contents 1. Container Technology 0:00 ~ 22:40 2. NAVER CLOUD PLATFROM 22:40 ~ 27:59 3. NAVER CLOUD PLATFROM + Container Technology 28:00 ~ 39:45 3. NAVER CLOUD PLATFROM + Container Technology 1. 네이버 클라우드 플랫폼에서는 어떻게 사용되고 있나? 대표 예시 1) Container-as-a-Service -> Kubernate 2) Platform-as-a-Service -> Cloud Foundry 3) Function-as-a-Service -> Cloud Function (Beta)( a사의 lamd..

클라우드 시장의 대세, 쿠버네티스란 무엇인가? https://youtu.be/JNc11rxLtmE 클라우드 시장의 대세, 쿠버네티스란 무엇인가? Contents 1. DockerNetworking 2. 쿠버네티스 1) 쿠버네티스 구성 2) Why Contatiner orchestration tool? 3) 쿠버네티스 기능 1. DockerNetworking 1) VM vs Container - 위의 그림의 큰 차이점은 Hypervisor 이다. - Hypervisor : 실제로 물리 머신이 가지고 있는, VM이 사용할 수 있는 리소스로 변환해주는 레이어 - VM들은 Hypervisor 위에서 실행. - Container는 하나의 격리된 프로세서 영역으로 실행됨. Image로 부팅되는데, Image 사이즈..

메시지 전송 케이스 별 프로듀서 옵션 설정 1. 메세지 손실 가능성이 높지만 빠른 전송이 필요한 경우 프로듀서의 acks=0 설정 일부 메시지 손실을 감안하더라도 매우 빠르게 전송이 필요한 경우. 메시지 손실이 발생한다고 해서 프로듀서가 보내는 메시지 90% 이상 손실된다는 의미는 아님 일반적인 운영 환경의 경우 메시지 손실 없이 빠르게 보내지만, 브로커가 다운되는 장애 등의 경우에 메시지 손실 가능성이 높은 편. 2. 메시지 손실 가능성이 적고 적당한 속도의 전송이 필요한 경우 1번 케이스와는 달리 프로듀서가 카프카로 메시지를 보낸 후 보낸 메시지에 대해 카프카가 잘 받았는지 확인(acks) 함. acks 받는 시간이 추가되어 시간이 속도는 떨어짐.(시간: 보내는 행동 + 응답을 받는 행동) 리더에 장..

유투브 출처 : 넷플릭스 마이크로 서비스 가이드 - 혼돈의 제왕 강의 순서 1. Introductions 00:00~5:38 2. Microservice Basics 05:39~13:18 3. Challenges & Solutions 13:19 ~ 43:33 1) Dependency 13:19 ~ 25: 02 2) Scale 25:03 ~ 33:33 3) Varience 33:34 ~ 43:33 4) Chagne 43:33~ 45:45 4. Organization & Architecture 46:46~53:13 3. Challenges & Solutions 지난 7년간 넷플릭스의 해법과 해법 철학으로 4가지 접근방법이 있다. . 1) Dependency 2) Scale 3) Variance, 다양한 아키..