바이오 테크놀로지 연구소 e-비지니스 사례 ③ 서울대 바이오인텔리전스 연구실
- 소식
- 2023.05.26
대용량 연산의 진화 법칙 ‘리눅스 클러스터링’
한정된 IT 예산으로 안정성과 성능이 뛰어난 시스템을 도입해야 한다는 것은 모든 기업과 IT 부서의 공통 과제지만 연구실에서는 특히 몸에 사무치는 과제다. 서울대 바이오인텔리전스 연구실 또한 마찬가지였는데, 생물 진화 연구에 필요한 대규모 연산을 위해선 고성능 컴퓨팅 환경이 요구됐다. 한정된 예산으로 필요한 시스템 자원을 갖추기 위해 채택한 솔루션은 리눅스 기반 클러스터링 시스템. 이를 통해 서울대 BI 연구실은 비용 절감과 성능, 그리고 최적화된 맞춤형 환경까지 얻을 수 있었다.
생명체의 진화는 과학적 진보에도 더 많은 부분이 베일에 가려져 있고 이를 밝혀내기 위한 연구는 오늘도 지속되고 있다. 생명 자체의 신비에 대한 연구도 물론이지만 생명체의 진화 현상, 즉 자연 선별과 유전 법칙 등을 모방한 유전 알고리듬은 자연과학이나 공학, 나아가 인문사회과학 분야에서 비선형 또는 계산 불가능한 복잡한 문제를 해결하는데 널리 응용되고 있다.
서울대학교 바이오인텔리전스(BI) 연구실 역시 진화 현상과 유전 알고리듬에 대한 연구를 진행하고 있다. 대규모 유전자 정보에서 생물학적으로 의미있는 데이터를 추출, 이의 상관관계와 차이 등을 분석해 알고리듬을 파악하고 이의 응용까지 돕는 것.
하지만 방대하고 복잡한 유전 알고리듬 특성상 연구실에서 다뤄지는 데이터들은 대부분 엄청난 용량을 자랑하고, 이의 연산을 위해서는 강력한 컴퓨팅 파워가 필요하다. 대규모 연구소에서는 슈퍼컴퓨터를 도입해 대용량 데이터의 복잡한 연산을 수행하고 있지만 서울대 BI 연구실은 슈퍼컴퓨터의 도입에 비용 부담을 느꼈다. 한 대에 수백억원까지 치솟는 시스템 비용을 기업이나 국가기관이 아닌 대학 연구소에서 감당하기는 어려웠기 때문.
도입 이후에도 벤더를 통해 받는 유지보수 비용은 큰 부담이었고 슈퍼컴퓨터를 전담 관리할 수 있는 별도의 인력을 확보하기도 어려움이 예상됐다.
그렇다고 일반 서버로는 계산용 애플리케이션을 구동하는 것부터 대용량 데이터 연산을 실제 수행하는 것까지 한계가 있었기 때문에 서울대 BI 연구실의 고민은 깊어만 갔다.
그러던 서울대 BI 연구실이 주목한 것은 다름아닌 클러스터링을 통한 병렬 컴퓨팅이었다. 저렴한 x86 서버를 클러스터링 소프트웨어를 사용해 병렬 연결함으로써 컴퓨팅 파워를 극대화시켜 슈퍼컴퓨터에 버금가는 계산용 대규모 서버로 구성하기로 결정한 것.
서울대학교 바이오인텔리전스 연구실 김성규 연구원은 “MPI(Message Passing Interface)를 통해 여러 대의 저사양 서버를 마치 한 대의 고성능 서버처럼 이용할 수 있는 클러스터링 서버로 실제 슈퍼컴퓨터를 도입한 것처럼 대용량 데이터를 처리할 수 있었다”고 설명한다.
"저렴한 x64 환경 제공에 원격 관리도 가능"
이에 서울대학교는 AMD의 애슬론 프로세서와 2GB 메모리로 구성된 조립형 x86 서버를 국산 클러스터 전문업체 클루닉스의 ‘엔클러스터 HPC’ 클러스터링 소프트웨어로 연결해 슈퍼컴퓨터와 같은 역할을 하는 서버 ‘테라곤’으로 구성했다. 테라곤은 엔클러스터 HPC로 연결된 슈퍼컴퓨터를 일컫는 클루닉스의 브랜드명이다.
특히 PC용 프로세서인 AMD 애슬론을 선택한 점이 서울대 BI 연구실의 컴퓨팅 환경 구성에서 눈에 띄는 점. 김성규 연구원은 “애슬론 프로세서는 서버용 프로세서인 인텔 제온보다 가격면에서 월등히 저렴하면서 가격 대비 성능에서 높은 점수를 받았다. 또 CPU 클럭은 제온보다 낮았지만 AMD 제품은 낮은 클럭임에도 성능이 떨어지지 않았고 오히려 낮은 클럭으로 전력 소비나 안정성 면에서 뛰어난 면을 보인 것이 선택의 동기가 됐다”고 전한다.
특히 연구실의 대규모 데이터 연산 작업은 메모리 자원을 최대한 활용해야 하기 때문에 기존 4GB로 한정된 메모리 용량만을 제공하는 32비트 환경으로는 제약이 많았다. 애슬론은 서울대 BI 연구실이 시스템을 도입하던 2003년 당시 64비트 환경을 지원하는 유일한 PC용 프로세서로, 당시 64비트용 프로세서인 아이테니엄이나 RISC 프로세서와 비교하면 가격 차이는 더욱 벌어졌기 때문에 애슬론 선택에 망설임이 없었다는 것이 김성규 연구원의 설명이다.
현재 서울대 BI 연구실은 애슬론 CPU 2개씩이 탑재된 2U 서버 9대를 연결, 총 18 CPU의 테라곤을 운영하고 있다.
비단 테라곤의 장점이 ‘싸다’는 것만은 아니다. 테라곤을 구성하는 엔클러스터 HPC 클러스터링 소프트웨어는 사용자 응용의 특성에 따라 전문 엔지니어가 아니라 하더라도 그래픽 기반 사용자 환경으로 구성돼 최고의 성능을 내도록 손쉽게 시스템 설계가 가능했다.
특히 대용량 데이터 계산은 몇 시간, 며칠씩 걸리는 장기 계산이 될 수도 있는데 이 경우 시스템이 부하를 견디지 못하고 장애가 발생해 노드 한 두 개가 멈춰버리면 그간 수행해왔던 계산들이 무위로 돌아가는 곤란한 상황이 발생하기도 한다.
하지만 엔클러스터 HPC는 소프트웨어 자체에 시스템을 이중화하고 업무를 분산할 수 있는 기능을 갖고 있다. 이에 장기 계산 중 일부 노드가 장애를 일으켜 작동을 멈추더라도 다른 노드들의 연속적인 계산이 가능해 서울대 BI 연구실은 대용량 장기 계산도 안심하고 실행할 수 있었다.
"선택의 폭 넓혀주는 리눅스"
김성규 연구원은 “클러스터링 소프트웨어가 HPC(High Performance Computing) 전용이었기 때문에 우리 환경에 적합했다. 특히 다양한 라이브러리와 유틸리티를 제공할 뿐만 아니라 전원 ON/OFF 등 서버의 원격 관리와 모니터링이 가능해 열악한 연구실 환경 개선에도 일조했다”며 만족을 나타냈다.
서울대 BI 연구실의 컴퓨팅 환경 구성에서 특히 주목할 점은 바로 테라곤의 주 운영체제로 리눅스를 선택했다는 점이다.
소스 코드가 오픈된 리눅스의 특성상 운영체제 자체를 일반 윈도우나 유닉스보다 손쉽게 서울대 BI 연구실의 업무 환경에 맞도록 최적화 할 수 있다는 것이 주 이유다.
김성규 연구원은 “리눅스 소스 코드를 완전히 고쳐서 전혀 새로운 운영체제를 만들어 사용한다는 의미는 아니다. 리눅스는 윈도우나 유닉스와 달리 응용 소프트웨어나 개발 언어를 특정 환경에만 맞춰서 사용해야 할 필요가 없기 때문에 선택의 폭이 넓고, 따라서 우리 환경에 보다 손쉽게 최적화하기 쉽다는 뜻”이라고 전한다.
즉, 클러스터 환경의 가장 기본이 되는 MPI를 하나 구성하려고 해도 개발자마다 C나 C++, 파스칼 등 선호하는 개발 언어가 모두 다른데 이를 일부 언어로만 통제해 사용하게 하면 개발자의 어려움도 크고 적용하기도 쉽지 않다.
그러나 리눅스는 모든 언어를 지원할 수 있는 오픈소스 소프트웨어기 때문에 어려움이 없다는 것이 김성규 연구원의 설명이다.
“우리와 같은 과학 연구실에서 사용하는 시스템과 시스템 환경은, 은행이나 통신사처럼 24시간 무중단이 요구되거나 시스템 중단시 심각한 경제적 손실 등을 미치는 성격이 아니다. 따라서 시스템 안정성을 절대적으로 중시 여기기보다 비용 대비 성능이 뛰어난 제품을 찾았고, 현재와 같은 시스템을 구성하게 됐다”고 김성규 연구원은 강조한다.
초기 시스템을 구성할 때는 6 CPU였지만 연구량 증가에 따라 곧 18 CPU로 증설해 사용하고 있는 서울대 연구소는 다가오는 시스템 교체 주기에서는 시스템 확장보다는 새로운 시스템으로 교체를 고려하고 있다.
김성규 연구원은 “이미 프로세서의 라이프사이클은 2년이 채 되지 않는다. 2년이면 성능이 두 배가 높아진 프로세서들이 더 저렴한 가격으로 나오기 때문에 기존 시스템을 확장하기보다 전체 시스템을 업그레이드 하는 것이 낫다”며 교체 시기를 가늠해보고 있다.
사 | 례 | 연 | 구
기관 - 서울대학교 바이오인텔리전스 연구실
문제 - 대용량 데이터 연산을 위한 고성능 컴퓨팅 파워 필요; 저비용으로 고성능 컴퓨팅을 구성해야 하는 문제 대두
해결 - 클루닉스 엔클러스터 HPC로 저사양 PC 서버를 연결해 계산용 슈퍼컴퓨터로 구성; 리눅스 환경 채택으로 사용자 환경 최적화
계획 - 시스템 교체주기에 맞춰 확장보다는 업그레이드 계획
2005.11.18
eWEEK / 강은성 기자
한정된 IT 예산으로 안정성과 성능이 뛰어난 시스템을 도입해야 한다는 것은 모든 기업과 IT 부서의 공통 과제지만 연구실에서는 특히 몸에 사무치는 과제다. 서울대 바이오인텔리전스 연구실 또한 마찬가지였는데, 생물 진화 연구에 필요한 대규모 연산을 위해선 고성능 컴퓨팅 환경이 요구됐다. 한정된 예산으로 필요한 시스템 자원을 갖추기 위해 채택한 솔루션은 리눅스 기반 클러스터링 시스템. 이를 통해 서울대 BI 연구실은 비용 절감과 성능, 그리고 최적화된 맞춤형 환경까지 얻을 수 있었다.
생명체의 진화는 과학적 진보에도 더 많은 부분이 베일에 가려져 있고 이를 밝혀내기 위한 연구는 오늘도 지속되고 있다. 생명 자체의 신비에 대한 연구도 물론이지만 생명체의 진화 현상, 즉 자연 선별과 유전 법칙 등을 모방한 유전 알고리듬은 자연과학이나 공학, 나아가 인문사회과학 분야에서 비선형 또는 계산 불가능한 복잡한 문제를 해결하는데 널리 응용되고 있다.
서울대학교 바이오인텔리전스(BI) 연구실 역시 진화 현상과 유전 알고리듬에 대한 연구를 진행하고 있다. 대규모 유전자 정보에서 생물학적으로 의미있는 데이터를 추출, 이의 상관관계와 차이 등을 분석해 알고리듬을 파악하고 이의 응용까지 돕는 것.
하지만 방대하고 복잡한 유전 알고리듬 특성상 연구실에서 다뤄지는 데이터들은 대부분 엄청난 용량을 자랑하고, 이의 연산을 위해서는 강력한 컴퓨팅 파워가 필요하다. 대규모 연구소에서는 슈퍼컴퓨터를 도입해 대용량 데이터의 복잡한 연산을 수행하고 있지만 서울대 BI 연구실은 슈퍼컴퓨터의 도입에 비용 부담을 느꼈다. 한 대에 수백억원까지 치솟는 시스템 비용을 기업이나 국가기관이 아닌 대학 연구소에서 감당하기는 어려웠기 때문.
도입 이후에도 벤더를 통해 받는 유지보수 비용은 큰 부담이었고 슈퍼컴퓨터를 전담 관리할 수 있는 별도의 인력을 확보하기도 어려움이 예상됐다.
그렇다고 일반 서버로는 계산용 애플리케이션을 구동하는 것부터 대용량 데이터 연산을 실제 수행하는 것까지 한계가 있었기 때문에 서울대 BI 연구실의 고민은 깊어만 갔다.
그러던 서울대 BI 연구실이 주목한 것은 다름아닌 클러스터링을 통한 병렬 컴퓨팅이었다. 저렴한 x86 서버를 클러스터링 소프트웨어를 사용해 병렬 연결함으로써 컴퓨팅 파워를 극대화시켜 슈퍼컴퓨터에 버금가는 계산용 대규모 서버로 구성하기로 결정한 것.
서울대학교 바이오인텔리전스 연구실 김성규 연구원은 “MPI(Message Passing Interface)를 통해 여러 대의 저사양 서버를 마치 한 대의 고성능 서버처럼 이용할 수 있는 클러스터링 서버로 실제 슈퍼컴퓨터를 도입한 것처럼 대용량 데이터를 처리할 수 있었다”고 설명한다.
"저렴한 x64 환경 제공에 원격 관리도 가능"
이에 서울대학교는 AMD의 애슬론 프로세서와 2GB 메모리로 구성된 조립형 x86 서버를 국산 클러스터 전문업체 클루닉스의 ‘엔클러스터 HPC’ 클러스터링 소프트웨어로 연결해 슈퍼컴퓨터와 같은 역할을 하는 서버 ‘테라곤’으로 구성했다. 테라곤은 엔클러스터 HPC로 연결된 슈퍼컴퓨터를 일컫는 클루닉스의 브랜드명이다.
특히 PC용 프로세서인 AMD 애슬론을 선택한 점이 서울대 BI 연구실의 컴퓨팅 환경 구성에서 눈에 띄는 점. 김성규 연구원은 “애슬론 프로세서는 서버용 프로세서인 인텔 제온보다 가격면에서 월등히 저렴하면서 가격 대비 성능에서 높은 점수를 받았다. 또 CPU 클럭은 제온보다 낮았지만 AMD 제품은 낮은 클럭임에도 성능이 떨어지지 않았고 오히려 낮은 클럭으로 전력 소비나 안정성 면에서 뛰어난 면을 보인 것이 선택의 동기가 됐다”고 전한다.
특히 연구실의 대규모 데이터 연산 작업은 메모리 자원을 최대한 활용해야 하기 때문에 기존 4GB로 한정된 메모리 용량만을 제공하는 32비트 환경으로는 제약이 많았다. 애슬론은 서울대 BI 연구실이 시스템을 도입하던 2003년 당시 64비트 환경을 지원하는 유일한 PC용 프로세서로, 당시 64비트용 프로세서인 아이테니엄이나 RISC 프로세서와 비교하면 가격 차이는 더욱 벌어졌기 때문에 애슬론 선택에 망설임이 없었다는 것이 김성규 연구원의 설명이다.
현재 서울대 BI 연구실은 애슬론 CPU 2개씩이 탑재된 2U 서버 9대를 연결, 총 18 CPU의 테라곤을 운영하고 있다.
비단 테라곤의 장점이 ‘싸다’는 것만은 아니다. 테라곤을 구성하는 엔클러스터 HPC 클러스터링 소프트웨어는 사용자 응용의 특성에 따라 전문 엔지니어가 아니라 하더라도 그래픽 기반 사용자 환경으로 구성돼 최고의 성능을 내도록 손쉽게 시스템 설계가 가능했다.
특히 대용량 데이터 계산은 몇 시간, 며칠씩 걸리는 장기 계산이 될 수도 있는데 이 경우 시스템이 부하를 견디지 못하고 장애가 발생해 노드 한 두 개가 멈춰버리면 그간 수행해왔던 계산들이 무위로 돌아가는 곤란한 상황이 발생하기도 한다.
하지만 엔클러스터 HPC는 소프트웨어 자체에 시스템을 이중화하고 업무를 분산할 수 있는 기능을 갖고 있다. 이에 장기 계산 중 일부 노드가 장애를 일으켜 작동을 멈추더라도 다른 노드들의 연속적인 계산이 가능해 서울대 BI 연구실은 대용량 장기 계산도 안심하고 실행할 수 있었다.
"선택의 폭 넓혀주는 리눅스"
김성규 연구원은 “클러스터링 소프트웨어가 HPC(High Performance Computing) 전용이었기 때문에 우리 환경에 적합했다. 특히 다양한 라이브러리와 유틸리티를 제공할 뿐만 아니라 전원 ON/OFF 등 서버의 원격 관리와 모니터링이 가능해 열악한 연구실 환경 개선에도 일조했다”며 만족을 나타냈다.
서울대 BI 연구실의 컴퓨팅 환경 구성에서 특히 주목할 점은 바로 테라곤의 주 운영체제로 리눅스를 선택했다는 점이다.
소스 코드가 오픈된 리눅스의 특성상 운영체제 자체를 일반 윈도우나 유닉스보다 손쉽게 서울대 BI 연구실의 업무 환경에 맞도록 최적화 할 수 있다는 것이 주 이유다.
김성규 연구원은 “리눅스 소스 코드를 완전히 고쳐서 전혀 새로운 운영체제를 만들어 사용한다는 의미는 아니다. 리눅스는 윈도우나 유닉스와 달리 응용 소프트웨어나 개발 언어를 특정 환경에만 맞춰서 사용해야 할 필요가 없기 때문에 선택의 폭이 넓고, 따라서 우리 환경에 보다 손쉽게 최적화하기 쉽다는 뜻”이라고 전한다.
즉, 클러스터 환경의 가장 기본이 되는 MPI를 하나 구성하려고 해도 개발자마다 C나 C++, 파스칼 등 선호하는 개발 언어가 모두 다른데 이를 일부 언어로만 통제해 사용하게 하면 개발자의 어려움도 크고 적용하기도 쉽지 않다.
그러나 리눅스는 모든 언어를 지원할 수 있는 오픈소스 소프트웨어기 때문에 어려움이 없다는 것이 김성규 연구원의 설명이다.
“우리와 같은 과학 연구실에서 사용하는 시스템과 시스템 환경은, 은행이나 통신사처럼 24시간 무중단이 요구되거나 시스템 중단시 심각한 경제적 손실 등을 미치는 성격이 아니다. 따라서 시스템 안정성을 절대적으로 중시 여기기보다 비용 대비 성능이 뛰어난 제품을 찾았고, 현재와 같은 시스템을 구성하게 됐다”고 김성규 연구원은 강조한다.
초기 시스템을 구성할 때는 6 CPU였지만 연구량 증가에 따라 곧 18 CPU로 증설해 사용하고 있는 서울대 연구소는 다가오는 시스템 교체 주기에서는 시스템 확장보다는 새로운 시스템으로 교체를 고려하고 있다.
김성규 연구원은 “이미 프로세서의 라이프사이클은 2년이 채 되지 않는다. 2년이면 성능이 두 배가 높아진 프로세서들이 더 저렴한 가격으로 나오기 때문에 기존 시스템을 확장하기보다 전체 시스템을 업그레이드 하는 것이 낫다”며 교체 시기를 가늠해보고 있다.
사 | 례 | 연 | 구
기관 - 서울대학교 바이오인텔리전스 연구실
문제 - 대용량 데이터 연산을 위한 고성능 컴퓨팅 파워 필요; 저비용으로 고성능 컴퓨팅을 구성해야 하는 문제 대두
해결 - 클루닉스 엔클러스터 HPC로 저사양 PC 서버를 연결해 계산용 슈퍼컴퓨터로 구성; 리눅스 환경 채택으로 사용자 환경 최적화
계획 - 시스템 교체주기에 맞춰 확장보다는 업그레이드 계획
2005.11.18
eWEEK / 강은성 기자
- 이전글
- 다음글