딥러닝 컨테이너는 주요 데이터 과학 프레임워크, 라이브러리, 도구가 사전 설치된 Docker 컨테이너 세트를 일컫습니다. 컨테이너를 활용하면 Workflow의 Prototype을 신속하게 제작하고 구현해낼 수 있도록 성능이 최적화된 일관성 높은 환경을 제공합니다.

 

 

딥러닝 컨테이너가 필요한 이유

 

딥러닝 작업 환경을 구성하기 위해서는 컴퓨팅 사양, 어플리케이션 버전 등을 세세하게 고려해야 하는데, 이 과정이 어렵고 번거로워서, 본격적인 개발에 임하기까지 에너지 소모가 많습니다. 그뿐만 아니라 이동해서 작업하기라도 하면 다시 딥러닝 개발 환경을 준비해야 한다는 점에서, 여러모로 업무 효율에 문제를 일으키게 됩니다. 바로 이 같은 상황에서 딥러닝 개발자들의 DLP개발환경을 잘 구성해야 할 때 딥러닝 컨테이너를 활용할 수 있습니다.

 

 

딥러닝 컨테이너 개발환경 구성 시 알아 두어야 할 플랫폼 Docker

 

Docker는 소프트웨어 플랫폼 명칭으로, 어플리케이션을 실행할 때 필요한 요소들을 모두 가지고 있습니다. 때문에 어플리케이션을 빠르게 구축하거나 테스트 혹은 배포할 때 일일이 찾을 필요가 없이 Docker를 활용하면 빠른 연구개발이 가능합니다. 다만 평소에는 각기 모든 파일들을 이미지 형태로 가지고 있기 때문에, 사용을 하려면 독립적인 컨테이너를 구성하여 이미지 실행을 해야 합니다.

 

Docker는 딥러닝 실험 환경을 하나의 이미지 형태로 압축하여 저장할 수 있습니다. 특히 본인의 연구 환경을 이미지 파일로 압축시켜 놓고 다른 컴퓨터에서 사용 시 저장된 연구 환경을 빠르게 구축할 수 있거나, 공유되어진 누군가의 연구 환경 이미지 파일을 불러와서 똑같은 환경을 구축할 수 있기 때문에, 다른 사람의 연구 결과를 똑같이 재현해 보는 과정에서도 큰 이점을 제공합니다.

 

 

아렌티어 딥러닝을 활용한 딥러닝 컨테이너 환경 구성

 

Docker 사용은 딥러닝 개발 환경에서 많은 이점을 제공하지만, 이전 Docker를 제거하고 다시 설치하거나 Docker 권한 설정 컴퓨팅 자원 구성을 바꿀 때는 다시 작업을 처음부터 해야 하는 등의 다량의 시간을 요하는 작업이 필요합니다. 거기에다가 리눅스 및 도커/컨테이너에 대한 개인적인 학습 또한 요구됩니다.

 

하지만 이 역시 간편하게 사용할 수 있는 딥러닝 솔루션을 활용한다면, 바로 사용 가능한 딥러닝 컴퓨팅 환경을 구성할 수 있습니다.

 

아렌티어 딥러닝 솔루션은 내부에 갖춰진 컴퓨팅 자원을 고성능 컴퓨팅 환경을 기반으로 딥러닝 컨테이너를 웹사이트에서 본인이 필요한 컴퓨팅 환경 및 S/W 등이 아이콘(Icon) 화 되어 있습니다. 직관적인 아이콘의 이점은 리눅스 환경에서 HPC 자원을 사용할 때, 명령어를 단 하나의 아이콘으로 규정해 준다는 것이고, 아이콘을 클릭 시 명령어를 입력하고 자원을 세팅하는 과정 들을 모든 과정을 자동화(Automation) 한다는 것에 있습니다.

 

작업의 자동화는 결국 사용자가 본 연구에 돌입하는 시간을 줄여주게 되면서, 궁극적인 연구 개발을 통한 혁신에 도달하기 위한 시간을 현저하게 줄여준다는 이점을 갖습니다. 그뿐만 아니라 아렌티어 딥러닝은 사용자 및 관리자들이 겪어온 HPC 개발환경 구축의 고질적인 문제들을 혁신적으로 개선합니다.

 

대표적인 딥러닝 환경에서 겪는 이슈는 아래와 같습니다.

 

 

연구원들이 딥러닝 환경 구축 시 겪는 고질적인 이슈

 

1. 자원 점유 문제

- 특정 팀/부서/연구원이 미사용 중임에도 불구하고 자원 점유 시, 자원 부족으로 오랜 사용대기  및 연구 중단에 놓임

 

2. 딥러닝 개발 시 필요한 다양한 종류의 S/W 버전 조합의 어려움

- 딥러닝 개발 시, S/W 간에 호환 문제 때문에, 같은 S/W에 대해서도 다양한 버전을 자유롭게 활용할 수 있어야 함.

 

3. 개인화된 개발 환경의 유지와 재사용 필요

- 개발자들에게 개발 환경이란 컴퓨팅 자원뿐만 아니라, S/W의 세팅 값 등, 개인화된 사용성 높은 환경이 업무 성과에 지대한 영향을 줌

 

출처 : 클루닉스

 

 

IT/R&D 관리자들의 환경 사용 및 관리 시 겪는 고질적인 이슈

 

1. 부서 혹은 개인별 CPU 및 GPU 자원 관리

- 부서 및 개인별 HPC 자원 관리 시, 유연한 자원 관리를 하기가 어려움

 

2. 다양한 사용자 개발 환경 요청 대응과 관리

- 사용자들마다 사용 환경에 대한 요구사항이 쏟아져 나와, 업무가 많아지고 인력 부족 현상에 놓이게 됨, 본연의 IT/R&D 관리 업무에 몰입하기 어려움

 

3. 딥러닝 데이터 통합 관리

- 딥러닝에 기초하는 라이브러리 및 오픈소스, 결과 데이터 등을 일일이 관리하기 어려움

 

4. 자원 사용 현황 확인과 통계 데이터

- 자원 사용 현황에 대한 세분화된 분석이 어려움 대시보드로, 자원 계획 수립의 어려움 존재

 

더 나은 딥러닝 개발 환경을 말하는 아렌티어 딥러닝이 궁금하시다면 아렌티어 딥러닝 소개 페이지를 살펴보시거나,직접적인 HPC 전문가에게 문의를 통해 해소하실 수 있습니다.