춤추는 개발자

현상 파이썬 실행 중 아래와 같은 에러가 발생하였다. AttributeError: 'DataFrame' object has no attribute 'ix' pandas doc 를 참고하면 ix 함수는 사라지고 .loc 혹은 .iloc로 대체 되었다. 해결방법 해결 방법은 간단한다. ix자리에 .loc 혹은 .iloc로 수정하여 사용하면 된다. 사용 예 ........ # axs[i].plot(data.ix[:, 0]) # axs[i].plot(data.ix[:, 0][(data.ix[:, i+1] == True)], 'ro') axs[i].plot(data.iloc[:,0]) axs[i].plot(data.iloc[:, 0][(data.iloc[:, i + 1] == True)], 'ro') ........

LocalDateTime LocalDateTime 단위 테스트 TimeController.class package com.example.demo; import org.springframework.web.bind.annotation.GetMapping; import org.springframework.web.bind.annotation.RestController; /** * The Class TimeController. */ @RestController public class TimeController { @GetMapping("/test") public TestDTO helloDTO4(TestDTO testDTO){ System.out.println(testDTO.toString()); return te..

현상 하둡에서 namenode 실행시, 아래와 같은 오류가 발생하였다. 2020-07-04 09:08:39,574 INFO namenode.FSImage: Allocated new BlockPoolId: BP-812238600-127.0.1.1-1593878919566 2020-07-04 09:08:39,575 WARN namenode.NameNode: Encountered exception during format: java.io.IOException: Cannot create directory /home/hadoop/hadoop-3.1.3/data/namenode/current at org.apache.hadoop.hdfs.server.common.Storage$StorageDirectory.clea..

이번 필사 주제는 Statoil/C-CORE Iceberg Classifier Challenge 이다. 이미지 데이터로 빙하(iceberg)인지, 선박(ship)인지 구분하는 이진 분류를 사용하는 주제이다. 데이터 설명을 보면, 주어진 데이터는 특정 발생 각도에서 신호 펄스를 전송한 다음 다시 신호 펄스를 재코딩하여 보낸 백스케터( backscatter) 계수라고 한다. 흠.. 데이터 설명부터가 어렵다고 지레 겁먹진 말고, 차근 차근 따라가보자. In [2]: import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from os.path import join as opj from matplotli..

현상 pycharm을 사용 중에 아래와 같은 Window Defender 관련 로그를 발견하였다. 그냥 써도 문제는 없지만,, 성능에 영향을 줄 수 있다고 하니 해결하기위해 아래 관련된 폴더를 설정 해주었다. Windows Defender might be impacting your build and IDE performance. PyCharm checked the following directories: C:\Users\*\PycharmProjects\algo2 C:\Users\*\AppData\Local\JetBrains\PyCharmCE2020.1 C:\Users\*\.gradle 해결 방법 윈도우 검색창에서 windows 보안 설정 클릭하여 관련 폴더를 추가해준다. windows 보안 바이러스 및 ..

현상 dfs 실행시 아래와 같이 rcmd socket permission denied 에러가 발생하였고, 정상적으로 실행되지 않았다. 해결방법 원인은 pdsh 기본 rcmd가 ssh가 아닌 rsh, ssh 원격 로그인 인증이 동일 하지 않을 때 발생한다. 이를 해결 하기 위해서 ~/.bashrc 파일에 아래의 환경변수 내용을 추가 한뒤, 적용해준다. export PDSH_RCMD_TYPE=ssh 환경 변수 적용 후 정상적으로 실행된 화면이다.

IntelliJ에서 JavaDoc 설정하는 방법에 대해서 알아보자. 1. JavaDoc comment 추가 방법 1. 단축키 (window 기준) : ctrl+shift+alt+G 방법 2. 더블 shift -> create JavaDocs for all elements 실행 JavaDoc 코드 적용 전 Main Class public class Main { public static void main(String[] args) { AddNumber addNumber = new AddNumber(); System.out.println(addNumber.add(2, 6)); System.out.println(addNumber.add(2, 3,4)); } } AddNumber Class public class..

현상 하둡은 초기 리눅스 기반으로 운영되었기 때문에, 하둡 버전 2부터는 윈도우에서 실행은 되지만, 실제 실행시 자잘한 에러가 발생 한다. (리눅스의 파일 경로, 파일 권한 등 관련 이슈..) 그 중에 하나가 Hadoop 3 을 Window에서 설치 후, start-dfs.cmd 명령어 실행시 발생한 에러다. 아래와 같이 datanode, namenode 모두 UnsatisfiedLinkError Error 발생하여 실행 되지 않는다. namenode error 2020-07-08 15:14:19,965 ERROR namenode.NameNode: Failed to start namenode. java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio...

이번 주제는 Costa Rican Household Proverty 로, 목표는 미주 개발 은행(Inter-American Development Bank)의 세계에서 가장 빈곤 한 일부 가정의 소득 자격을 예측을 하는 것이다. 보통 세계 최 빈곤층은 그들의 자격을 증명하기가 어려운데, 라틴 아메리카는 알고리즘을 통해 소득자격을 확인한다. 예를 들어 프록시 수단 테스트(PMT)을 통해 벽과 천장의 재료 또는 집에서 발견 된 자산과 같은 가족의 관찰 가능한 가구 속성을 고려하는 것이다. 이를 바탕으로 다양한 feature가 제공 되었는데, LGBMClassifier를 사용하여 소득 자격을 예측해본다. 이번 필사는 이유한님의 코드를 참고하였다. 목록 Costa Rican Household Proverty (1..

간단한 예제 프로그램 실행 하둡을 다운로드 하면, tar 폴더안에 함께 포함되어 있는 wordcount jar 파일이 존재한다. 해당 파일을 사용하여 테스트를 진행해 보자. 1) hdfs 확인 hdfs 에 기본 경로 폴더 생성 log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -mkdir /user/log/test log@ubuntu:~/hadoop/hadoop-3.1.3$ bin/hdfs dfs -ls mapreduce 테스트를 위해 harrypote..