티스토리챌린지 20

Understanding Data Engineering 2-Data engineers vs Data scientists

✅ RECAP 전 포스팅에서 공부한 내용을 복습해 보자. - 데이터 엔지니어링의 정의와 중요성: 데이터 엔지니어는 대규모 데이터 세트를 효율적으로 처리하고 관리할 수 있는 인프라를 구축하고 유지보수하는 역할을 담당한다. - 데이터 엔지니어링과 데이터 사이언티스트의 차이점: 데이터 엔지니어는 데이터의 인프라와 아키텍처를 다루는데 중점을 두는 반면, 데이터 사이언티스트는 데이터를 통해 인사이트를 도출하는 데 집중한다. - 데이터 파이프라인이 소개: 데이터 파이프라인이란 데이터 처리 단계의 연속적인 흐름을 의미하며, 데이터가 원천에서부터 저장되고 분석 및 활용될 수 있는 위치로 효율적으로 이동하도록 보장하는 데 중요한 역할을 한다. - 빅데이터의 역할: 빅데이터의 등장으로 인해 데이터 엔지니어에 대한 수요가 ..

Understanding Data Engineering 1-Data engineering and big data

데이터는 21세기의 가장 중요한 자산으로 자리 잡았다. 하지만 데이터를 제대로 활용하려면 데이터를 관리하고 처리할 수 있는 전문적인 역할이 필수다. 바로 데이터 엔지니어가 그 중심에 있다. 이 글에서는 데이터 엔지니어링과 빅데이터에 대한 기초 개념을 정리하고, 데이터가 조직 내에서 어떻게 흐르고 활용되는지 살펴보겠다.1. 데이터 엔지니어링이란 무엇인가?데이터 엔지니어링은 데이터 파이프라인을 구축하고 관리하는 과정이다. 데이터 엔지니어는 데이터 사이언티스트와 다르게 데이터를 분석하기 위한 토대를 만든다. 이 과정에는 데이터 수집, 저장, 처리 및 준비가 포함된다. 데이터 엔지니어의 역할은 데이터가 조직에서 효율적이고 신뢰성 있게 사용될 수 있도록 하는 데 중점을 둡니다.2. 데이터 워크플로우   데이터는 ..

[24-25] 9월

[09월] 2024.09.29 🏆 알루 FC 24-25 시즌 두 번째 자체전 경기 결과! 오늘은 부천 클리어 풋살장에서 아침 8시부터 10시까지 총 6쿼터에 걸쳐 경기가 진행되었습니다. 이번 경기의 MOM(Match of the Match)은 박건호 군이 차지했으며, 현재 기록 테이블에서 선두를 달리고 있습니다! 🎉 ⚽ 가을 운동회 연기 소식 원래 예정되었던 가을 운동회는 인원 부족과 시간 관계상 잠정 연기되었으며, 대신 9월 자체전이 진행되었습니다.⚽ 팀 구성 이번 매치데이에서는 발가락 부상을 입은 채로 참여한 김정엽 군이 준비한 제비뽑기를 통해 팀이 나뉘어 경기가 이루어졌습니다.⚽ 경기 주요 내용 박건호 군이 6골을 넣으며 엄청난 득점력을 자랑했습니다. 또한 큰 부상 없이 경기를 무사히 마무리할 ..

[24-25] 8월

[08월] 2024.08.25  알루 FC(ALLU FC) 24-25 시즌 첫 번째 자체전이 있던 날이었습니다! 이번 경기는 부천 클리어 풋살장에서 오전 8시부터 오전 10시까지 2시간동안 총 6쿼터로 진행되었습니다. 👑 이번 경기의 MOM은 투표 결과 전영성 군이 선정됐습니다.👑 현재 기록 테이블에는 전영성 군이 선두를 달리고 있습니다.  ⚽ 무척이나 더운 날씨임에도 이대호 군의 아이스박스 및 음료 지원과 김정엽 군의 얼린 음료수 지원 및 박건호 군의 추가 음료수 지원으로 큰 부상없이 즐겁게 마무리할 수 있었습니다.  다시한번 엄청난 체력으로 종횡무진 뛰어다닌 전영성 군의 MOM 수상을 축하드립니다. 다음달은 알루FC 가을 운동회가 예정되어 있는 달이기도 합니다. 상품도 준비되어 있다고 하니 기대 ..

데이터 사이언티스트 & 데이터 엔지니어 로드맵 🚀

나는 언젠가 데이터 사이언티스트나 데이터 엔지니어가 되고 싶었다. 그래서 차근차근 로드맵을 따라가며 공부해보려고 한다. 미래가 어떻게 될지 나도 기대가 된다. 이 로드맵은 데이터 분야에서 필수적인 기술과 도구, 그리고 추천 학습 리소스를 단계별로 정리한 거라서, 순서대로 따라가면 데이터를 다루는 전문가가 되는 데 필요한 스킬을 익힐 수 있다고 한다. 특히 초보자라면 필수 기술(노란색 표시)에 집중해서 시작하는 게 좋다.   이제부터 해외에서 데이터 사이언티스트와 데이터 엔지니어로 일하는 것을 목표로, 오늘부터 본격적인 공부 여정을 시작하려고 한다. 데이터 분석과 데이터 처리 분야에서 일하는 꿈을 꾸며 이 블로그를 통해 그 과정과 배운 것들을 기록해 나갈 예정이다. 🌍 컴퓨터 공학도로서 데이터 커리어는 ..

반응형