알루 코딩

ADsp를 5일동안 공부해도 충분히 합격할 수 있는지 궁금합니다. 그래서, 많은 사람들이 이 포스팅만 보고도 합격할 수 있도록 정리를 해보고자 글을 씁니다.✅ CHECK POINT 먼저, 빅데이터 회의론과 우려의 목소리를 들어보셨나요?과거의 CRM과 같은 경영시스템을 도입하기 위해 하드웨어와 소프트웨어를 도입하고도 성과를 충분히 내지 못했던 기업들이 많았습니다. 이런 기업들의 실패 경험들이 빅데이터 시스템의 도입도 머뭇거리고 있는데요, 기업들의 우려 섞인 목소리의 원인과 이러한 의구심을 불식시키기 위한 전력적 발전 방향을 살펴봅시다. 또, 데이터 사이언스와 데이터 사이언티스트에 대해 들어보셨나요?빅데이터 시대를 이끌어 나가기 위해서는 데이터 사이언스라는 융합 학문이 필요해요. 기존의 통계학과 컴퓨터공학..

ADsp를 5일동안 공부해도 충분히 합격할 수 있는지 궁금합니다. 그래서, 많은 사람들이 이 포스팅만 보고도 합격할 수 있도록 정리를 해보고자 글을 씁니다.✅ CHECK POINT 먼저, "빅데이터"의 정의를 알고 계신가요? 빅데이터는 말 그대로 큰 데이터를 의미합니다.단순히 용량 뿐만 아니라 복잡성도 증가해서 기존의 데이터 처리 툴로 다루기 어려운 데이터 셋을 지칭하기도 하죠. 빅데이터가 우리 생활을 어떻게 바꾸어 갈까요? 2012년 미국의 44대 대통령 오바마의 빅데이터를 통한 선거운동, 2013년 서울의 심야버스인 올빼미 버스의 빅데이터를 통한 노선변경 등 이 생각납니다. 빅데이터가 발전함에 따라 위기 요인은 어떤 것이 있는지도 알아볼 필요가 있어요.빅데이터활용을 통해 우리 삶이 편리해진 것은 사실..

ADsp를 5일동안 공부해도 충분히 합격할 수 있는지 궁금합니다. 그래서, 많은 사람들이 이 포스팅만 보고도 합격할 수 있도록 정리를 해보고자 글을 씁니다. ✅ CHECK POINT 먼저, "데이터"의 정의를 알고 계신가요? 데이터라는 단어를 한 번도 못들어 본 분은 없을 거에요.옥스포드 대사전에서는 아래와 같이 데이터를 정의하고 있습니다."추론과 추정의 근거를 이루는 사실" - 데이터 컴퓨터 시대가 시작되면서, 데이터의 의미는 (관념적, 추상적) 개념 → (기술적, 사실적) 개념으로 변화하고 있습니다.  그러면, 데이터와 정보 그리고 지식의 관계는 어떻게 이루어질까요?"데이터 → 정보 → 지식 → 지혜"  순으로 발전 위 순서로 발전하면서, 데이터는 추론, 예측, 전망, 추정을 위한 근거가 됩니다. 데..

✅ 데이터 추가하기 : Employee 테이블부터 데이터를 추가해보자. INSERT INTO 테이블 VALUES () 키워드로 데이터를 추가한다. 이 때, VALUES 에 넣어주는 값 순서는 테이블을 생성할 때, attribute를 넣어준 순서대로 값을 넣어주면 된다. create table EMPLOYEE( id INT PRIMARY KEY, name VARCHAR(30) NOT NULL, birth_date DATE, sex CHAR(1) CHECK(sex in ('M','F')), position VARCHAR(10), salary INT DEFAULT 50000000, dept_id INT, FOREIGN KEY (dept_id) references DEPARTMENT(id) on delete S..

서울시 공공데이터 API 키를 발급받는 방법에 대해 소개해드리겠습니다. 아래 링크로 들어가셔서 로그인을 먼저 하시고 인증키 신청을 해야 합니다. https://data.seoul.go.kr/together/mypage/actkeyMain.do 열린데이터광장 메인 데이터분류,데이터검색,데이터활용 data.seoul.go.kr 실시간 지하철 오픈 API를 활용하려면 오른쪽의 '실시간 지하철 인증키 신청'을 누르고, 그 외의 데이터를 활용하려면 '일반 인증키 신청' 버튼을 클릭하시면 됩니다. 인증키를 신청할 때, 사용 URL에는 특별한 사이트 주소가 없다면 그냥 localhost라고 적으시고, 그 외의 칸도 각자의 이메일과 활용용도 등을 적으시면 됩니다. 다 기입하셨다면, 인증키 신청을 클릭합니다. 이제, 서..

이번에는 다른 DAG을 수행시킬 수 있는 'Trigger Run 오퍼레이터' 라는 것에 대해 알아보도록 하겠습니다. Airflow에서는 DAG간의 의존관계는 선-후행 관계입니다. 이를 설정할 수 있는 방법은 크게 2가지가 있는데요, 그 2개 중에 하나인, "TriggerDagRun" 오퍼레이터를 이번 포스팅에서 배워보겠습니다. 1. DAG 간 의존관계 설정 DAG 의존관계 설정 방법 (1) TriggerDagRun 오퍼레이터 오퍼레이터를 이용해서 Task를 만드는 것처럼 TriggerDagRun오퍼레이터로 Task를 만듭니다. task를 만들면서 파라미터를 줄 때, 어떤 DAG을 Trigger할 지 그 DAG의 id를 넣게 되어있습니다. 위 그림을 기준으로, task1이 선행 task고, task2, t..

이번 포스팅에서는 여러가지 airflow에서의 오퍼레이터로 뭐가 있는지 다양하게 살펴보겠습니다. 1. 기본 오퍼레이터 : Airflow에서 기본적으로 제공해주는 오퍼레이터를 한 번 살펴보도록 하겠습니다. 파일 경로 오퍼레이터(클래스) 중요도 비고 airflow.models.baseoperator BaseOperator ⭐⭐⭐ - 오펄레이터를 직접 개발하고 싶은 경우, 이 클래스 상속하여 개발 (execute() 함수를 오버라이딩 하여 사용합니다.) - 아래 오퍼레이터들은 모두 이 클래스를 상속하여 개발되어 있습니다. - Airflow를 잘 쓰려면, 이 오퍼레이터 상속/개발하는 것을 자유자재로 할 줄 알아야 합니다. airflow.operators.bash BashOperator ⭐⭐⭐ - bash쉘 스크..

오늘은 간단한 개념인 Edge Label을 짚고 넘어가볼까 합니다. 1. Edge Label 개념이란 무엇일까요? : Task 연결에 대한 설명(Comment)입니다. 굉장히 간단합니다. 말 그대로, Task 간의 edge에 있는 comment를 뜻합니다. 바로 실습을 해보도록 하죠. 2. Edge Label 실습 #1 from airflow.utils.edgemodifier import Label empty_1 = EmptyOperator( task_id='empty_1' ) empty_2 = EmptyOperator( task_id='empty_2' ) empty_1 >> Label('1과 2사이') >> empty_2 먼저, 라벨을 달려면, airflow.utils.edgemodifier에서 Lab..

이번 포스팅에서는 Task들을 모아서 관리할 수 있는 Task Group에 대해 알아보겠습니다. 하나의 dag에 task가 많다면, 관련있는 task끼리 그룹화하여 관리하도록 지원해주는 기능입니다. 1. Task Group 의 개념 Task들의 모음입니다. UI Graph 탭에서 Task들을 Group화하여 보여줍니다.(https://airflow.apache.org/docs/apache-airflow/stable/core-concepts/dags.html#taskgroups) DAGs — Airflow Documentation airflow.apache.org 각 task가 그룹화된 섹션을 열어보면, inner_section이 또 있습니다. 즉, task 그룹 안에 또 다른 task 그룹도 계층적으로 ..

이제까지는 상위 task가 하나 있을 때, 상위 task가 하위 task로 분기하는 경우 분기하는 조건에 대해서 알아봤습니다. 이번에는 상위 task 여러개가 하나의 하위 task로 연결이 되는 구조에서 하위 task의 실행조건을 설정하는 방법(Trigger Rule)에 대해 알아보겠습니다. 1. Trigger Rule 종류 아래와 같은 task들이 있다고 해봅시다. 기본적으로는 task1, task2, task3이 모두 성공적으로 잘 끝나야 task4가 도는 구조입니다. 하지만, 이 rule을 바꾸고 싶을 경우가 있을 것입니다. 예를 들어, task1, task2, task3 중에서 어느 하나라도 정상적으로 끝나면, task4가 수행되도록 하는 rule을 만들 수도 있고, 성공여부에 상관없이 task1..