춤추는 개발자

이번 주제는 Costa Rican Household Proverty 로, 목표는 미주 개발 은행(Inter-American Development Bank)의 세계에서 가장 빈곤 한 일부 가정의 소득 자격을 예측을 하는 것이다. 보통 세계 최 빈곤층은 그들의 자격을 증명하기가 어려운데, 라틴 아메리카는 알고리즘을 통해 소득자격을 확인한다. 예를 들어 프록시 수단 테스트(PMT)을 통해 벽과 천장의 재료 또는 집에서 발견 된 자산과 같은 가족의 관찰 가능한 가구 속성을 고려하는 것이다. 이를 바탕으로 다양한 feature가 제공 되었는데, LGBMClassifier를 사용하여 소득 자격을 예측해본다. 이번 필사는 이유한님의 코드를 참고하였다. 목록 Costa Rican Household Proverty (1..

springboot에서 java8 time을 사용하여 get 요청을 해오는 방법에 대해서 알아보자 테스트 코드 먼저 컨트롤러 및 DTO 클래스를 생성한다. TimeController.class package com.example.demo; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; /** * The Class TimeController. */ @RestController public class TimeController { @GetMapping("/test") public TestDTO getTestDTO(TestDTO testDT..

학부때 배운 리눅스 지식으로 리눅스 기반 하둡을 설치하려고 하니, 기본적인 리눅스 셋팅에서 많이 해맸던 것 같다. 한단계씩 꾸준히 따라오면 설치 할수 있다. 아파치 하둡 공식 문서에서 가이드 해주는 내용과 구글링을 참고하여 진행하였다. 1. 사전 작업 1) SSH apt-get update 실행 $ sudo apt-get update SSH, pdsh 다운로드 $ sudo apt-get install ssh $ sudo apt-get install pdsh ssh 설정 pdsh 환경설정 bashrc 파일 열기 log@ubuntu:~/hadoop/hadoop-3.1.3$ sudo nano ~/.bashrc 아래 환경변수 추가 export PDSH_RCMD_TYPE=ssh 파일 적용 log@ubuntu:~/..

현상 하둡을 실행 한 후, 초기 hdfs 파일을 확인 하려고 할때 발생 하는 에러다. log@ubuntu:~$ hdfs fs -ls ls: `.': No such file or directory 해결 방법 원인은 기본 경로에 대한 파일이 존재 하지 않기 때문이다. 이를 해결하기 위해선 /user/{user_name}/ 폴더를 생성해주면 된다. hdfs dfs -mkdir /user hdfs dfs -mkdir /user/{loggedin user} hdfs dfs -ls 참고 사이트 : https://stackoverflow.com/questions/28241251/hadoop-fs-ls-results-in-no-such-file-or-directory

이번 주제는 Costa Rican Household Proverty 로, 목표는 미주 개발 은행(Inter-American Development Bank)의 세계에서 가장 빈곤 한 일부 가정의 소득 자격을 예측을 하는 것이다. 보통 세계 최 빈곤층은 그들의 자격을 증명하기가 어려운데, 라틴 아메리카는 알고리즘을 통해 소득자격을 확인한다. 예를 들어 프록시 수단 테스트(PMT)을 통해 벽과 천장의 재료 또는 집에서 발견 된 자산과 같은 가족의 관찰 가능한 가구 속성을 고려하는 것이다. 이를 바탕으로 다양한 feature가 제공 되었는데, LGBMClassifier를 사용하여 소득 자격을 예측해본다. 이번 필사는 이유한님의 코드를 참고하였다. 목록 Costa Rican Household Proverty (1..

우분투 18.04 버전에서 ip를 고정으로 할당하려면 이전 버전과는 다른 방법으로 설정해줘야 한다. 우분투 18 LTS 이전 버전에서는 /etc/network 디렉토리에 있는 interfaces 파일에서 설정을 변경하거나 추가해주면 되지만, 우분투 18 LTS 이후 버전에서는 netplan은 yaml을 사용한다. 고정 아이피설정 방법 1. 본인의 이더넷 이름 확인 log@ubuntu:/usr/local/java$ ifconfig -a 필자의 이더넷 이름은 ens33 으로 확인하였다. 2. /etc/netplan 01-network-manager-all.yaml 파일 수정 /etc/netplan에 있는 yaml 파일을 수정해준다. log@ubuntu:/etc/netplan$ sudo nano 01-netw..

현상 hdfs 명령어로 namenode format 진행시, 발생한 문제이다. 2020-07-03 10:47:32,709 INFO namenode.NameNode: createNameNode [-format] 2020-07-03 10:47:32,897 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2020-07-03 10:47:33,534 ERROR common.Util: Syntax error in URI \hadoop\namenode. Please check hdfs configuration. java.net.URIS..

우분투에 자바를 설치하는 과정에서 아래와 같은 에러가 발생하였다. 그래서 apt가 문제 인가 싶어서 update도 하고, process도 죽여보고 다 해봤지만 해결이 안됬다. sudo update sudo killall apt-get 결국 해결한 방법은 관련된 파일을 삭제하는 것이다. 삭제 할 목록 /var/lib/apt/lists/lock /var/cache/apt/archives/lock /var/lib/dpkg/lock* rm 명령어로 삭제한다. log@ubuntu:/usr/local/java$ sudo rm /var/lib/apt/lists/lock log@ubuntu:/usr/local/java$ sudo rm /var/cache/apt/archives/lock log@ubuntu:/usr/lo..

이번 주제는 Porto serqruo safe prediction 로, 목표는 운전자가 내년에 자동차 보험 청구를 시작할 확률울 예측하는 모델을 구축 하는 것이다. 이번 필사는 Gabriel Preda님의 코드를 참고하였다. 총 3가지 포스트로 내용을 나누었고, 순서는 아래와 같다. Porto serqruo safe prediction(Gabriel Preda) (1) 더보기 1. 데이터 분석 준비 2. 데이터 설명 3. Metadata 설명 Porto serqruo safe prediction(Gabriel Preda) (2) 더보기 4. 데이터 분석과 통계 Porto serqruo safe prediction(Gabriel Preda) (3) 더보기 5. 모델을 위한 데이터 준비 6. 모델 준비 7...

이번 주제는 Porto serqruo safe prediction 로, 목표는 운전자가 내년에 자동차 보험 청구를 시작할 확률울 예측하는 모델을 구축 하는 것이다. 이번 필사는 Gabriel Preda님의 코드를 참고하였다. 총 3가지 포스트로 내용을 나누었고, 순서는 아래와 같다. Porto serqruo safe prediction(Gabriel Preda) (1) 더보기 1. 데이터 분석 준비 2. 데이터 설명 3. Metadata 설명 Porto serqruo safe prediction(Gabriel Preda) (2) 더보기 4. 데이터 분석과 통계 Porto serqruo safe prediction(Gabriel Preda) (3) 더보기 5. 모델을 위한 데이터 준비 6. 모델 준비 7...