파이썬 76

Understanding Data Engineering 10-Cloud Computing

클라우드 컴퓨팅(Cloud Computing)은 현대 데이터 처리 및 저장에서 핵심적인 역할을 한다. 이번 포스팅에서는 클라우드 컴퓨팅의 개념, 장단점, 주요 클라우드 제공업체 및 그들의 서비스, 그리고 Spotflix의 사례를 살펴보자.1. 클라우드 컴퓨팅(Cloud Computing) 클라우드 컴퓨팅은 데이터를 처리하거나 저장하기 위해 원격 서버를 대여하는 방식이다.- 전통적인 방식은 '온프레미스(On-Premises)'로, 회사가 직접 서버를 구매, 관리, 유지보수하는 것이다.- 클라우드 방식은 사용량에 따라 서버를 대여할 수 있으므로, 필요할 때만 자원을 사용해 비용을 최적화할 수 있다.2. 클라우드 컴퓨팅의 장점과 단점장점(+)1. 비용 최적화- 고성능 서버를 구매하지 않아도 되며, 사용량에 따..

Understanding Data Engineering 6-Data warehouses and data lakes

✅ RECAP 전 포스팅에서 공부한 내용을 복습해 보자. - SQL: SQL은 관계형 데이터베이스 관리 시스템(RDBMS)과 상호작용하기 위한 언어로, 영어처럼 널리 사용되며 이해하기 쉬운 문법이 특징이다.: RDBMS는 관련된 여러 테이블(ex. Employees 테이블)을 포함하는 데이터베이스이다.: 다수의 레코드를 한 번에 검색, 그룹화, 필터링, 집계 가능하다.: 프로그래밍 언어로도 가능하지만, SQL이 최초로 이를 효율적으로 구현한 언어이다. - 데이터 엔지니어와 데이터 사이언티스트: 데이터베이스를 생성하고 유지 관리하며, 데이터 구조를 설계하는 역할은 데이터 엔지니어: SQL을 사용해 데이터베이스에서 필요한 데이터를 쿼리하여 분석 및 인사이트 도출에 사용하는 역할은 데이터 사이언티스트 - SQ..

deque() vs deque([]), 뭐가 맞는 방식이지?

deque()는 python의 collections 모듈에 포함된 double-ended queue로, 양쪽에서 데이터를 효율적으로 추가하거나 제거할 수 있는 자료구조다. 일반 리스트보다 양쪽에서 데이터 추가/삭제가 더 빠르기 때문에, 시간복잡도가 O(1)인 특징이 있고, 양쪽에서 모두 작동 가능한 메서드를 제공하기도 한다.(appendleft(), popleft())from collections import dequedq = deque([1,2,3]) # 초기 값 설정dq.append(4) # 오른쪽에 추가dq.appendleft(0) # 왼쪽에 추가dq.pop() # 오른쪽에서 제거dq.popleft() # 왼쪽에서 제거print(dq) # deque([1,2,3])그런데 deque 을 초기화하는 과..

Python any(), all() 함수

Python에는 다양한 내장 함수가 있지만, 그중 all()과 any() 함수는 논리 연산을 간단히 처리할 수 있어 매우 유용하다. 특히, iterable 객체를 기반으로 한 조건 검사를 간결하게 표현할 수 있어 코드 가독성을 높이는 데 도움을 준다. 이 포스팅에서는 all()과 any() 함수의 정의, 특징, 사용법을 예제와 함께 알아보겠다.1. all() 함수란?all(iterable) 함수는 인자로 받은 반복 가능한 객체(iterable)의 모든 요소가 참(True)이면 True를 반환하고, 하나라도 거짓(False)이면 False를 반환한다. 만약 iterable이 비어 있다면 기본적으로 True를 반환한다. and 연산자와 유사한 동작을 한다고 보면 이해하기 쉽다. all(iterable)은 내..

정규식을 사용해 여러개의 구분자로 split 하는 방법

Python의 string 내장함수인 split을 사용하면 구분자를 기준으로 string을 list로 나눌 수 있다.str = "Hello Aloo! I love how you treat me!"str = str.split()print(str)# ['Hello', 'Aloo', 'I', 'love', 'how', 'you', 'treat', 'me!']str = "What's up, Aloo, Nice to meet you!"str = str.split(',')print(str)# ['What's up', ' Aloo', ' Nice to meet you!'] 알고리즘 문제를 풀다 보면, 여러 개의 구분자로 string을 list로 나누고 싶을 때가 있다.이와 같은 경우에 re(정규식) library 를..

반응형