데이터 44

[ADsp] 5일만에 데이터분석 준전문가 자격증 따기 - 1과목 2장. 데이터의 가치와 미래

ADsp를 5일동안 공부해도 충분히 합격할 수 있는지 궁금합니다. 그래서, 많은 사람들이 이 포스팅만 보고도 합격할 수 있도록 정리를 해보고자 글을 씁니다.✅ CHECK POINT 먼저, "빅데이터"의 정의를 알고 계신가요? 빅데이터는 말 그대로 큰 데이터를 의미합니다.단순히 용량 뿐만 아니라 복잡성도 증가해서 기존의 데이터 처리 툴로 다루기 어려운 데이터 셋을 지칭하기도 하죠. 빅데이터가 우리 생활을 어떻게 바꾸어 갈까요? 2012년 미국의 44대 대통령 오바마의 빅데이터를 통한 선거운동, 2013년 서울의 심야버스인 올빼미 버스의 빅데이터를 통한 노선변경 등 이 생각납니다. 빅데이터가 발전함에 따라 위기 요인은 어떤 것이 있는지도 알아볼 필요가 있어요.빅데이터활용을 통해 우리 삶이 편리해진 것은 사실..

[ADsp] 5일만에 데이터분석 준전문가 자격증 따기 - 1과목 1장. 데이터의 이해

ADsp를 5일동안 공부해도 충분히 합격할 수 있는지 궁금합니다. 그래서, 많은 사람들이 이 포스팅만 보고도 합격할 수 있도록 정리를 해보고자 글을 씁니다. ✅ CHECK POINT 먼저, "데이터"의 정의를 알고 계신가요? 데이터라는 단어를 한 번도 못들어 본 분은 없을 거에요.옥스포드 대사전에서는 아래와 같이 데이터를 정의하고 있습니다."추론과 추정의 근거를 이루는 사실" - 데이터 컴퓨터 시대가 시작되면서, 데이터의 의미는 (관념적, 추상적) 개념 → (기술적, 사실적) 개념으로 변화하고 있습니다.  그러면, 데이터와 정보 그리고 지식의 관계는 어떻게 이루어질까요?"데이터 → 정보 → 지식 → 지혜"  순으로 발전 위 순서로 발전하면서, 데이터는 추론, 예측, 전망, 추정을 위한 근거가 됩니다. 데..

[데이터베이스] 4장 - SQL로 DB에 데이터를 추가(insert)하고 수정(update)하고 삭제(delete)하는 방법

✅ 데이터 추가하기 : Employee 테이블부터 데이터를 추가해보자. INSERT INTO 테이블 VALUES () 키워드로 데이터를 추가한다. 이 때, VALUES 에 넣어주는 값 순서는 테이블을 생성할 때, attribute를 넣어준 순서대로 값을 넣어주면 된다. create table EMPLOYEE( id INT PRIMARY KEY, name VARCHAR(30) NOT NULL, birth_date DATE, sex CHAR(1) CHECK(sex in ('M','F')), position VARCHAR(10), salary INT DEFAULT 50000000, dept_id INT, FOREIGN KEY (dept_id) references DEPARTMENT(id) on delete S..

[Airflow] 서울시 공공데이터 API 키 발급받기

서울시 공공데이터 API 키를 발급받는 방법에 대해 소개해드리겠습니다. 아래 링크로 들어가셔서 로그인을 먼저 하시고 인증키 신청을 해야 합니다. https://data.seoul.go.kr/together/mypage/actkeyMain.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 실시간 지하철 오픈 API를 활용하려면 오른쪽의 '실시간 지하철 인증키 신청'을 누르고, 그 외의 데이터를 활용하려면 '일반 인증키 신청' 버튼을 클릭하시면 됩니다. 인증키를 신청할 때, 사용 URL에는 특별한 사이트 주소가 없다면 그냥 localhost라고 적으시고, 그 외의 칸도 각자의 이메일과 활용용도 등을 적으시면 됩니다. 다 기입하셨다면, 인증키 신청을 클릭합니다. 이제, 서..

[Airflow] Trigger Run 오퍼레이터

이번에는 다른 DAG을 수행시킬 수 있는 'Trigger Run 오퍼레이터' 라는 것에 대해 알아보도록 하겠습니다. Airflow에서는 DAG간의 의존관계는 선-후행 관계입니다. 이를 설정할 수 있는 방법은 크게 2가지가 있는데요, 그 2개 중에 하나인, "TriggerDagRun" 오퍼레이터를 이번 포스팅에서 배워보겠습니다. 1. DAG 간 의존관계 설정 DAG 의존관계 설정 방법 (1) TriggerDagRun 오퍼레이터 오퍼레이터를 이용해서 Task를 만드는 것처럼 TriggerDagRun오퍼레이터로 Task를 만듭니다. task를 만들면서 파라미터를 줄 때, 어떤 DAG을 Trigger할 지 그 DAG의 id를 넣게 되어있습니다. 위 그림을 기준으로, task1이 선행 task고, task2, t..

반응형