Clunix

하이브리드 고성능 컴퓨팅(HPC)은 사내 리소스와 클라우드 리소스를 결합하여 두 환경의 이점을 모두 활용하는 접근 방식입니다. 이를 통해 조직은 필요에 따라 계산 능력을 확장하고 유연성을 유지하며 비용을 최적화할 수 있습니다.

이번 IT트랜드에서는 하이브리드 고성능 컴퓨팅(HPC) 사용 사례를 살펴보고, 조직이 사내 인프라와 퍼블릭 클라우드 리소스를 원활하게 통합하는 방법을 소개하고자 합니다.

NASA의 Pleiades Supercomputer와 AWS  

미국항공우주국(NASA)은 미국의 민간 우주 프로그램과 항공학 연구를 담당하는 미국 정부 기관입니다. NASA는 천체 물리학에서 지구 과학에 이르는 분야까지 획기적이고 깊이 있는 연구는 물론 실제 탐험을 통해 다양한 과학적 발견을 수행하고 있습니다.

NASA의 Pleiades Supercomputer는 Ames Research Center에 위치한 주력 HPC 시스템입니다. 고성능 컴퓨팅 자원으로 NASA의 다양한 과학 및 공학 시뮬레이션을 지원하는 데 중요한 역할을 합니다. Pleiades Supercomputer는 기후 모델링, 공기역학 시뮬레이션 및 천체 물리학 연구를 포함한 광범위한 작업 영역을 처리하도록 설계되었습니다.

2019년 NASA는 사내 HPC 기능을 강화하기 위해 Pleiades Supercomputer를 아마존 웹 서비스(AWS)와 전략적으로 통합했습니다. 하이브리드 HPC 모델을 통해 NASA는 AWS가 제공하는 방대한 자원을 활용하여 계산 능력을 동적으로 확장할 수 있으며 최대 워크로드를 처리하고 가변적인 수요를 효율적으로 수용할 수 있습니다.

[그림 1] NASA의 Pleiades Supercomputer와 AWS 결합 모델

출처 : 나사 홈페이지

이러한 하이브리드 HPC 모델은 NASA에 확장성, 유연성, 효율성면에 어떤 이점이 있었을까요? 우선 기존 HPC 시스템과 AWS의 통합은 NASA에 비할 데 없는 확장성을 제공하였습니다. NASA는 우주 연구의 중요한 단계나 데이터 집약적인 시뮬레이션과 같은 피크 시간대에 AWS의 클라우드 인프라를 활용하여 계산 자원을 원활하게 확장할 수 있게 되었습니다.

또 하이브리드 모델은 변화하는 계산 요구에 적용할 수 있는 유연성을 NASA에 제공합니다. 이 모델을 통해 NASA는 기존 HPC 시스템이 처리하는 일상적인 워크로드와 AWS 리소스를 통해 해결할 수 있는 예상치 못한 수요 급증을 모두 효율적으로 관리할 수 있습니다.

더욱이 NASA는 AWS와 HPC 환경을 통합함으로써 사내 인프라 유지보수와 관련된 비용을 최적화할 수 있습니다. 이를 통해 해당 기관은 임시적으로 추가 자원에 대한 비용을 지불할 수 있으며, 때때로 수요가 많은 기간을 수용하기 위해 자체 인프라를 영구적으로 확장할 필요를 방지할 수 있게 되었습니다. 이렇듯 NASA가 우주 연구의 새로운 지평을 계속해서 개척함에 따라, Pleiades와 AWS의 통합은 더욱더 큰 역할을 하게 될 것이다.

유럽 생물정보학 연구소(EBI : European Bioinformatics Institute)

유럽 생물정보학 연구소(EBI)는 유럽 분자 생물학 연구소(EMBL)의 일부이며 생물정보학 연구의 글로벌 리더로 유명합니다. EMBL-EBI는 국제 과학 사회에 귀중한 자원과 도구를 제공하면서 생물학 데이터를 조직하고, 분석하고, 보급하는 데 중점을 둡니다. 이는 유전체학, 단백질체학 및 생물정보학 연구를 발전시키는데 중추적인 역할을 합니다.

EMBL-EBI는 생물정보학 연구의 고유한 계산 요구사항에 맞춘 강력한 사내 고성능 컴퓨팅(HPC) 시스템을 유지하고 있습니다. 이 시스템은 DNA 염기서열 분석, 구조 생물학, 대규모 데이터 처리 등 다양한 분석을 위한 중추 역할을 수행하여 생물학 정보의 복잡성을 해결하려는 EMBL-EBI의 임무를 지원합니다.

계산 능력을 향상시키고 생물정보학 연구의 변화하는 요구를 해결하기 위한 노력으로, EMBL-EBI는 기존의 사내 HPC 시스템을 퍼블릭 클라우드와 전략적으로 통합했습니다. 이 하이브리드 HPC 모델을 통해 EMBL-EBI는 퍼블릭 클라우드가 제공하는 다양하고 확장 가능한 자원을 활용하여 컴퓨팅 인프라를 클라우드로 원활하게 확장할 수 있습니다.

하이브리드 전략의 일환으로 EMBL-EBI는 다양한 제공업체의 클라우드 서비스를 사용하고 있으며Google Cloud Platform(GCP), Amazon Web Services(AWS), EMBL-EBI의 자체 Embassy Cloud 및 European Open Science Cloud(EOSC)가 포함됩니다.

이렇듯 연구소는 10여년 전에 EMBL-EBI Embassy Cloud를 구축했으며 이를 내부 및 협업 데이터 분석을 위한 플랫폼으로 사용해 왔습니다. 더불어 EMBL-EBI는 하이브리드 및 멀티 클라우드 전략을 채택하고 있습니다. 특히 하이브리드 HPC 모델은 생물정보학 연구의 동적한 계산 요구를 효과적으로 해결하며, 비용 효율적으로 리소스를 활용하여 연구 속도를 향상시키고 있습니다. 이러한 전략은 미래의 생물학적 연구에 있어서도 EMBL-EBI에 지속적인고 선도적인 역할을 부여할 것으로 기대됩니다.

[참고자료]

1. HECC AWS Cloud: Overview

https://www.nas.nasa.gov/hecc/support/kb/hecc-aws-cloud-overview_581.html

2. EMBL-EBI : Clouds

https://www.ebi.ac.uk/about/clusters/technical-services/clouds/