- 소식
- 2025.01.23
하나의 작업을 다수의 프로세스로 나누어 실행시키는 병렬 계산방식은 그에 맞는 아키텍처 그리고 프로세스들 사이에 통신이 필요합니다. 여기에서 MPP와 MPI에 대한 개념이 등장하는데, 병렬 컴퓨팅 관련 기술 문서들을 볼 때 혼동하지 않으려면 제대로 이해할 필요가 있습니다. MPP와 MPI에 대한 개념을 알고, 클루닉스가 독자적으로 개발한 MPT에 대해서도 알아보겠습니다.
MPP(Massively Parallel Processing)란데이터 웨어하우징과 분석 등, 방대한 양의 데이터를 효율적으로 처리하기 위해서 활용하는 대규모 병렬 처리(MPP, Massively Parallel Processing)는 병렬 컴퓨팅 아키텍처의 한 유형입니다. 아키텍처를 통해 다수의 프로세서가 동시에 협력해 방대한 데이터를 처리하고 복잡한 작업을 효율적으로 실행할 수 있습니다. 각 노드는 독립적인 운영 체제를 실행하거나 자체 입출력 장치를 가지고 있으며, 메모리를 공유하지 않습니다. 그리고 고속 인터커넥트를 통해 서로 통신하여 공동의 계산 작업을 수행하게 됩니다.
MPP는 병렬처리, 확장성, 독립 구조, 데이터 분산, 내결함성에 대한 5가지 특징을 갖습니다.
1. 병렬 처리(Parallelism)작업을 작은 단위로 나누어 여러 프로세서에서 동시 처리하여 작업 처리 속도를 높입니다.
2. 확장성(Scalability)노드나 프로세서를 추가하여 증가하는 작업량을 처리할 수 있습니다.
3. 독립 구조(Shared-Nothing Architecture)각 프로세서가 독립적인 메모리와 저장소를 가지며, 자원 충돌을 줄이면서, 성능은 개선합니다.
4. 데이터 분산(Data Distribution)데이터를 여러 노드에 분산하여 병렬 처리를 가능하게 하며, 이 때 효율적인 분산이 성능에 중요한 척도가 됩니다.
5. 내결함성(Fault Tolerance)중복성과 장애 처리 메커니즘을 통해 시스템의 신뢰성을 보장합니다. 활용 분야로는 데이터 웨어하우징, HPC(과학 시뮬레이션, 기상 예측), 비즈니스 인텔리전스에서 주로 사용됩니다.
MPI(Massage Passing Interface)란메시지 전달 인터페이스(MPI, Message Passing Interface)는 분산 및 병렬 처리에서 정보의 교환에 관해 기술하는 표준규약을 말합니다. 프로세서 간 교환할 데이터를 메시지 전달함수를 사용해 주고받는 연산 모델로서 이런 함수들의 집합체인 메시지 패싱 라이브러리(Massage Passing Library)의 표준을 정한 것이 MPI입니다.
메시지 패싱 라이브러리(Massage Passing Library)의 표준을 정한 것이 MPI로 이에 맞춘 여러 MPI 라이브러리가 개발되어 있습니다.
*+@ 메시지 패싱 모델이란?
MPP와 MPI의 차이점
클루닉스의 MPT(Massive Parallel Tasking)MPT(Massive Parallel Tasking)란, 클루닉스가 독자 개발한 병렬 분산 처리 기술입니다. 해당 기술은 클루닉스의 HPC 솔루션, 아렌티어의 핵심 요소들 중 하나에 해당하며, MPT 기술을 통해 컴퓨터 환경의 확장성 향상과 서버 부하 감소, 작업 부하 균형 조정, 안정성, 속도 및 성능을 개선할 수 있습니다.
클루닉스의 핵심 엔진 MPT의 주요 기능MPT는 크게 작업/세션/리소스 관리의 측면에서 기능합니다. 첫째, 다양한 형태의 작업을 분배하고 수행하는 작업 관리, 둘째로는 다수 사용자의 접속 상태를 모니터링하고, 복구 및 가에 종료 기능 등의 세션 관리, 그리고 사용자를 그룹화하거나 가용 리소스를 제한하는 등 계층적 리소스 관리 및 가용 리소스를 제한하는 것, 리소스 현황 모니터링, API를 제공하는 것 등의 리소스 관리에 대한 주요 기능을 갖고 있습니다.
이러한 MPT기반의 분산 병렬 프로그래밍 API인 MFI(MPT Feather Interface)는 관리 서버(Master)와 여러 클러스터링 에이전트(Agent)의 1:N 구조를 기반으로 독자 개발된 인터페이스로, 다양한 시뮬레이션 모델을 분산 병렬 처리할 수 있는 환경을 제공합니다.
클루닉스는 에이전트 기반 모델 시뮬레이션에 사용되는 모수의 참값을 추정하는 병렬 시뮬레이션 방법에 대한 특허와 그리고 클루닉스의 병렬처리를 이용할 효율적인 수량 연관 규칙에 대한 논문을 바탕으로 모든 연구/개발 업무에 대한 HPC 통합 서비스 환경을 제공합니다.
클루닉스는 2000년부터 지금까지 HPC에 몰입하여 쌓은 노하우를 기반으로 최적의 HPC 환경을 제공합니다. 또한 최적의 HPC 환경구축 및 솔루션 도입과 관련해 클루닉스의 전문가들은 경험적 노하우를 기반으로 고객의 상황에 맞게 상담을 해드릴 수 있습니다. 클루닉스에 문의하시고 귀사의 상황에 맞는 답변을 받아보시기 바랍니다.
[출처]1) 클루닉스 내부 자료 2) Koita Webzine_기술과혁신 http://webzine.koita.or.kr/201911-technology 3) TIBC https://www.tibco.com/glossary/what-is-massively-parallel-processing 4) 과기부-전국과학관길라잡이 https://smart.science.go.kr/scienceSubject/bigdata/ 5) 시스템엔지니어공동관리구역 http://nblog.syszone.co.kr/archives/2797 6) TechTarget https://www.techtarget.com/whatis/definition/MPP-massively-parallel-processing
|
★ 함께 보면 좋은 IT 트렌드 |
|
- 이전글
- 다음글