분류 전체보기 91

aws 비용 알람 메일 해결_(굉장히 감동한 aws의 서비스)

aws로부터 비용 알람을 받고 해결한 부분에 대한 후기 감동한 부분 => 어느 나라에서 답을 보내는지는 모르겠지만 한국 시간으로 낮이나 밤 언제 보내도 답이 빨리온다. 그리고 친절하게 답변해주신다 나는 aws를 평소 사용하지 않았다. 예전에 공부하다가 호기심으로 가입을 했었던 거 같기도 하고(?) 그래도 인스턴스를 생성하거나 그러지는 않았을 것이다. 그런데 aws로부터 비용 알람 메일을 받은 것이다. Budgeted Amount은 $750.00에 ACTUAL Amount은 $301.80... 너무 놀라서 이게 뭔가 하고 메일을 받은 계정으로 aws에 로그인을 하려고 하니 없는 계정이라고 한다. 그래서 내가 평소 사용하는 메일들로 다 로그인을 해봐도 없는 계정이라고 뜨는 것이다. (비밀번호는 상관없이) 구..

지엽 2021.09.03

[스파크] chap1, chap2 아파치 스파크

컴퓨터 클러스터, 그룹 -> 싱글컴퓨터라면 자원들을 모아서 사용할 수 있게 한다. 싱글 컴퓨터는 파워풀하지 않다. -> 프레임워크 필요 스파크 애플리케이션 -> 클러스터 매니저(스탠드얼론, yarn, 메소스) 클러스터 매니저 -> 우리의 작업을 완료할 수 있도록 애플리케이션에 리소스를 준다. 스파크 애플리케이션 드라이버 프로세스 필수적(애플리케이션이 돌아가는 동안의 정보 모두 유지) 익스큐터 : 드라이버 프로세스가 할당한 일을 수행할 책임이 있다. 1. 드라이버로부터 할당된 코드 실행 2. 실행의 상태를 드라이버 노드에게 다시 보고 스파크 애플리케이션 핵심사항 - 스파크는 사용 가능한 리소스를 추척하는 클러스터 매니저를 사용한다. - 드라이버 프로세스는 주어진 일을 완료하기 위해서 익스큐터에서 드라이버 ..

Spark 2021.08.09

[스파크] chap3. 스파크 기능 둘러보기

스파크는 기본 요소인 저수준 API와 구조적 API 그리고 추가 기능을 제공하는 일련의 표준 라이브러리로 구성되어 있다. 스파크의 라이브러리 => 그래프 분석, 머신러닝, 스트리밍 등 다양한 작업 지원 및 컴퓨팅 및 스토리지 시스템과의 통합을 돕는 역할 3.1 운영용 애플리케이션 실행하기 spark-submit - 대화형 셸에서 개발한 프로그램을 운영용 애플리케이션으로 쉽게 전환할 수 있다. - 애플리케이션 코드를 클러스터에 전송해 실행시키는 역할을 한다. (제출된 애플리케이션은 작업이 종료되거나 에러가 발생할 때까지 실행된다.) - 애플리케이션 실행에 필요한 자원과 실행 방식 및 다양한 옵션을 지정할 수 있다. 스파크 애플리케이션 -> StandAlone, Mesos, YARN 클러스터 매니저를 통해 ..

Spark 2021.08.03

[파이썬]Fatal Python error: initfsencoding: unable to load the file system codec 에러

파이썬을 잘 안 쓰다가 스파크 공부를 시작해서 pyspark 쓰려고 보니 켜자마자 콘솔창이 바로 꺼지는 것이었다. 그래서 파이썬 문제 같아 cmd에 python을 쳐보니 저런 에러가 떴다. 에러 때문에 몇 번이고 파이썬을 다시 설치해보고 환경변수 설정도 계속 설정해봤는데 에러는 사라지지 않았다. 혹시나 하는 마음에 cmd에 python -V을 쳐보니 로컬에 설치되어 있는 파이썬 버전이 내가 지금까지 설치했던 파이썬 버전과 달랐다. 근데 로컬에 설치된 저 파이썬 버전이 로컬 어디에 있는지 모르겠어서 환경변수 설정을 위해 다시 설치함 그랬더니 오류가 사라지고 프롬프트에서 파이썬을 쓸 수 있게 되었다.

Spark 2021.08.03

[데이터베이스] sqld SQL 기본3

-데이터베이스 개론 2판, SQL 자격검정 실전문제 학습 후 정리한 내용입니다- 데이터베이스 개론 2판 IT CookBook, 데이터베이스 개론(2판) 데이터베이스로 첫 항해를 떠나는 이들에게 지도와 돛이 되어주는 책입니다. 마인드맵으로 생소한 개념 간의 관계를 한눈에 보여주고, 친근한 예와 비유를 들어 명료하게 풀어내, 데이터베이스 www.hanbit.co.kr SQL 자격검정 실전문제 SQL 자격검정 실전문제 - YES24 SQL 자격검정 실전문제는 국가공인 SQL 전문가 및 국가공인 SQL 개발자 자격시험 대비 수험서로 SQL 전문가 가이드에서 다루고 있는 데이터 모델링의 이해, SQL기본 및 활용, SQL 고급 활용 및 튜닝 등 www.yes24.com GROUP BY 문장 SELECT [DIST..

자격증/sqld 2021.06.30

[프로그래머스]연습문제>제일 작은 수 제거하기 Java

https://programmers.co.kr/learn/courses/30/lessons/12935 코딩테스트 연습 - 제일 작은 수 제거하기 정수를 저장한 배열, arr 에서 가장 작은 수를 제거한 배열을 리턴하는 함수, solution을 완성해주세요. 단, 리턴하려는 배열이 빈 배열인 경우엔 배열에 -1을 채워 리턴하세요. 예를들어 arr이 [4,3,2,1 programmers.co.kr arr 길이가 1보다 작거나 같은 경우는 answer는 -1만 리턴. 나의 코드 public static int[] solution(int[] arr) { int min = arr[0]; // 초기 최소값 int index = 0; // 최소값 인덱스 if(arr.length

[알고리즘] 합병정렬(Merge sort), 힙정렬(Heap sort) | T아카데미

-SKplanet Tacademy의 컴퓨터 알고리즘 초급 강의를 듣고 정리한 내용입니다- https://tacademy.skplanet.com/live/player/onlineLectureDetail.action?seq=83 컴퓨터 알고리즘 초급 | T아카데미 온라인강의 컴퓨터 알고리즘은 성공적인 프로그래밍을 위한 필수적인 과목입니다. 본 과정에서는 컴퓨터 알고리즘의 정의에 대해 학습하고 필요성을 인식하며 이에 대한 기본내용을 학습합니다. 또.. tacademy.skplanet.com 합병정렬 - 합병을 이용한 정렬 알고리즘 - 이미 정렬되어 있는 2개의 배열을 비교하여 작은 값을 새로운 배열에 넣음 - 수행시간 O(nlgn) Merge A B C Step 0 1 5 6 8 2 4 7 9 1 Step 1..

알고리즘 2021.06.30

[프로그래머스]연습문제>2016년 Java

https://programmers.co.kr/learn/courses/30/lessons/12901 코딩테스트 연습 - 2016년 2016년 1월 1일은 금요일입니다. 2016년 a월 b일은 무슨 요일일까요? 두 수 a ,b를 입력받아 2016년 a월 b일이 무슨 요일인지 리턴하는 함수, solution을 완성하세요. 요일의 이름은 일요일부터 토요일까 programmers.co.kr 2016년 1월 1일은 금요일이라는 힌트를 가지고 시작했다. 금요일이라는 힌트 때문에 day 배열을 "FRI","SAT","SUN","MON","TUE","WED","THU" 순으로 작성했다. 2016년은 윤년이라고 했으므로 2월은 29일까지 있다. result 변수에 a달 전까지의 date를 더해준다. 그리고 result..

[프로그래머스]Summer/Winter Coding(~2018)>예산 Java

https://programmers.co.kr/learn/courses/30/lessons/12982 코딩테스트 연습 - 예산 S사에서는 각 부서에 필요한 물품을 지원해 주기 위해 부서별로 물품을 구매하는데 필요한 금액을 조사했습니다. 그러나, 전체 예산이 정해져 있기 때문에 모든 부서의 물품을 구매해 줄 수는 programmers.co.kr 부서별로 신청한 금액이 들어있는 배열 d를 오름차순 정렬을 하고 차례로 합해서 예산과 비교한다. 합할 때마다 지원할 수 있는 부서 수를 증가시킨다. 비교해서 합한 값이 예산보다 크면 break한다. public static int solution(int[] d, int budget) { int answer = 0; int sum = 0; Arrays.sort(d);..

[프로그래머스]2019카카오개발자겨울 인턴십>크레인 인형뽑기 게임 Java

https://programmers.co.kr/learn/courses/30/lessons/64061 코딩테스트 연습 - 크레인 인형뽑기 게임 [[0,0,0,0,0],[0,0,1,0,3],[0,2,5,0,1],[4,2,4,4,2],[3,5,1,3,1]] [1,5,3,5,1,2,1,4] 4 programmers.co.kr 스택으로 바구니를 만들고 바구니에 있는 인형과 뽑을 인형을 비교해서 바구니 제일 위에 있는 인형이면 2개 같이 터트림 public static int solution(int[][] board, int[] moves) { int answer = 0; Stack stack = new Stack(); // 바구니 stack.push(0); // 값 같은지 비교하기 위해 초기값 필요함 for(i..