카테고리 없음

용어사전 kafka, airflow, spark

하늘색도화지 2024. 1. 18. 13:56
728x90

 

용어사전 

 

순번 용어 의미
1 EDW 여러 애플리케이션의 비즈니스 정보를 중앙 집중화하고 조직 전체에서 분석 및 사용할 수 있도록 하는 데이터베이스 또는 데이터베이스 모음
2 Object Storage 객체라고 하는 비정형 형식으로 데이터를 저장하고 관리하는 기술(대용량 데이터를 저장하는데 활용)
3 Feature Store Feature는 학습 및 예측을 할 데이터의 특성, 속성이다. 이를 저장하여 업데이트와 재사용을 할 수 있는 저장소
4 Lead time 어떤 프로세스의 시작부터 완료까지 걸리는 시간
5 ACL(액세스 제어 목록) 시스템 리소스와 관련된 권한 목록이고, 방화벽을 구축하는 데 있어서 가장 중요한 요소이며 트래픽 필터링(Traffic Filtering)의 기능
6 PIP(Package Installer of python) 파이썬 개발환경에 패키지 라이브러리를 설치하기 위한 저장소
7 Nexus AI모델 관리 저장소
8 IM/IAM(생명사원정보관리시스템) 계정접근관리(SSO + 계정 권한관리 + 자원관리 및 보안정책수립)
9 디통채(디채통) 각각의 디지털 채널(보험과 퇴직연금, 대출, 펀드·신탁 등 모든 서비스)을 모바일 중심으로 합친 것
10 stewardship 내부 및 외부 지침을 준수하면서 청렴성, 관심 및 신뢰성을 가지고 활동을 수행하기 위해 책임감 있게 행동
11 STT 음성(Speech)를 글자(Text)로 바꿔주는 기술
12 LLM (Large Language Model) 인간의 언어를 이해하고 생성하도록 훈련된 일종의 인공지능 모델입니다.
주어진 언어 내에서 패턴이나 구조, 관계를 학습하여 텍스트 번역과 같은 좁은 AI 작업에서 주로 활용
13 RHEL(Red Hat Enterprise Linux) 페도라 계열 리눅스 유료 배포판
14 Privacy-i 개인정보보유통제솔루션
15 컨테이너 앱이 구동되는 환경까지 감싸서 실행할 수 있도록 하는 격리 기술
16 컨테이너 런타임 컨테이너를 다루는 도구
17 도커 컨테이너를 다루는 도구 중 가장 유명한 것
18 쿠버네티스(K8S) 컨테이너 런타임을 통해 컨테이너를 오케스트레이션 하는 도구
19 오케스트레이션 여러 서버에 걸치 컨테이너 및 사용하는 환경 설정을 관리하는 행위
20 MLflow 머신러닝 모델의 lifecycle을 관리해주는 오픈소스 툴
21 Kubeflow(쿠버네티스 기반의 AI 플랫폼) 머신러닝 워크플로우(Machine Learning Workflow)를 자동화 해줌.
머신러닝 워크플로우는 머신러닝(ML) 모델을 개발하는 모든 과정을 말하며 데이터 전처리, 탐색적 데이터 분석, 하이퍼 파라미터 튜닝, 머신러닝 모델 학습, 머신러닝 모델 배포 단계로 이루어짐.
22 Apache Iceberg 오픈 소스 데이터 테이블 형식으로서 데이터 레이크에 저장된 대규모 데이터 세트의 데이터 처리를 단순화 함.
23 Apache Hadoop 빅데이터 스토리지를 분산 방식으로 관리하고 병렬로 처리하는 프레임워크
24 Apache Spark 대규모 데이터 처리를 위한 빠른 범용 클러스터 프레임워크(실제 데이터 변환)
25 Apache Kafka 실시간 데이터 처리를 효율적으로 하기 위한 메시지 큐 프레임워크
분산 이벤트 저장소 및 스트림 처리 플랫폼
26 Apache Airflow 데이터 파이프라인 자동화 및 워크플로 작성을 위한 프레임워크(워크플로우 스케줄링, 모니터링 등)
27 워크 플로우 의존성으로 연결된 작업(task)의 집합 => DAG(Directed Acyclic Graph)
28 LDAP(Lightweight Directory Access Protocol) 표준프로토콜이며 다양한 프로그램 및 장비에서 지원(사용자 인증 또는 사용자 정보가 필요한 프로그램에서 손쉽게 연동)
29 CDS(Citizen Data Scientist) 데이터 전문가, 통계 및 컴퓨터 공학 전공자는 아니지만 비즈니스 현장에서 자신의 업무와 관련된 데이터를 분석하고 활용하는 사람
30 MSA(MicroService Architecture) 여러 개의 작은 서비스로 구성되어 각 서비스가 독립적으로 개발되고 배포되는 구조(확장성, 유지관리가 용이)
31    
32    
33    
34    
35    
36    
37    
38    

 

728x90