728x90
NiFi에서 사용되는 용어 및 개념
- FlowFile : NiFi의 single data 조각
1) FlowFile Content : FlowFile에 의해 표현되는 data
2) FlowFile Attribute : data에 대한 정보나 data에 대한 context를 제공하며, key-value 쌍으로 존재
3) 모든 FlowFile에는 다음과 같은 표준 속성을 가지고 있음
a) uuid : FlowFile을 다른 FlowFile과 구별할 수 있는 고유 식별자
b) path : FlowFile이 속한 상대적인 디렉토리 경로를 나타내며 파일 이름 포함 - Processor :
1) FlowFile들로부터 정보를 변형, 추출, 경로를 정함
2) data가 들어오는 것을 인지
3) 외부 source들로부터 data를 당겨 오거나 보냄 - Relationship :
1) 각 Processor들은 0개 이상 가지고 있음
2) Relationship은 FlowFile 처리 결과를 나타내기 위해 이름이 지정 됨
3) FlowFile 처리가 끝난 후에 Relationship 중 하나로 FlowFile의 경로를 지정 또는 전송 함 - Connection :
1) 구성 요소를 끌어 다음 연결할 구성 요소에 놓음으로써 연결이 되며,
이러한 연결로 자동화 데이터 흐름을 생성
2) 각 연결은 하나 이상의 Relationship으로 구성 - Controller Service
1) Processor나 다른 Controller Service들과 같은 구성 요소들에 제공하는 확장 서비스
2) 사용자 인터페이스에서 사용자에 의해 추가되고 구성된 후에 사용 가능 - Reporting Task : NiFi 인스턴스에서 발생되는 일들에 대한 통계 보고서를 제공
- Funnel : 여러 연결들을 하나의 연결로 결합시켜주는 기능을 가진 구성 요소
- Process Group :
1) data의 flow가 복잡해질 때 level을 나누어 논리적 데이터 흐름으로 볼 수 있도록 해주는 구성 요소
2) Process Group 안에 여러 구성 요소들을 담을 수 있음 - (Input/Output) Port : Process Group을 다른 data flow에 연결할 때 사용하는 구성 요소
- Remote Process Group : 다른 NiFi의 특정 인스턴스로 데이터를 전송할 때 사용
- Bulletin : NiFi 구성 요소들에 대한 상태 등을 기록하는 곳
- Template : Template를 생성하여 많이 사용되는 data flow를 재사용 할 수 있도록 도와주는 기능
- flow.xml.gz : NiFi 캔버스에 넣는 모든 것들을 기록 및 저장하는 파일
728x90
'하둡 에코 시스템 > Apache NiFi' 카테고리의 다른 글
[2nd] NiFi-1.19.0 hive library 추가 및 튜닝 (0) | 2023.02.08 |
---|---|
[1st] NiFi-1.19.0 기본(Standard Alone) 설치 (0) | 2023.02.07 |
[ Apache NiFi ] Expression Language Guide (0) | 2023.01.25 |