[기상청 슈퍼컴혈세낭비-②]혁신을 택한 스위스기상청,500억원을 절감하다. 세계 최초 GPU기반 예측시스템개발성공

스위스 기상청이 20억원도 채 안 되는 규모의 하드웨어 구매비용을 들여 슈퍼컴퓨터를 도입하고도 기상예보의 근간이 되는 전지구예보와 국지예보 등에서 550억원을 주고 슈퍼컴퓨터를 도입한 한국 기상청보다 월등히 앞선 기상관측 예보 능력을 갖춘 비결은 무엇일까?

스위스 기상청과 스위스 국립슈퍼컴퓨터센터는 사이트를 통해 CS-스톰 개발과정과 성능을 소개하면서 이같은 비밀과 노하우를 상세하게 공개하고 있다.

스위스 기상청은 2014년께부터 스키와 등산을 위해 알프스를 찾는 자국민과 관광객의 안전을 위해 알프스산맥을 끼고 있는 산악지대 스위스의 국지 날씨예보를 보다 상세하고 정확히 해야 할 필요성을 절감하기 시작한다.

스위스는 혹한과 폭풍, 폭설, 그리고 눈사태가 끊이지 않는 극한의 기후조건과 돌풍 등 변화무쌍한 날씨를 보여주는 대표적 산악지대다. 이 때문에 스위스 기상청 입장에서는 스키, 클라이밍, 패러글라이딩 등 산악스포츠로 각광받는 알프스 산악지대에서의 빈번한 사고를 예방하고 전 세계에서 몰려드는 관광객 안전을 위해 어느 나라보다 날씨 예보에 민감하다.

스위스 기상청이 내린 결론은 두 가지. 기존에 측정해온 2.2Km 직방 기류의 입도로는 형성 중인 폭풍 구름 같은 정확한 모델을 생산하기에는 불충분하다고 판단했다.  스위스 기상청은 기존 측정 수준으로는 폭풍과 폭설, 돌풍이나 눈사태 등의 일기예보를 좀 더 자세하고 정확하게 예측하기 힘들다고 결론 내리고 무조건 직방 1.1 km 내로 측정 셀을 촘촘하게 하는 고해상도 날씨 모델을 측정, 예보키로 했다.

그래야 더 많은 현실적인 시뮬레이션(모의실험)을 만들어낼 수 있기 때문이라고 결론 내렸다. 그렇다면 어떻게 측정 셀 단위를 기존보다 절반 이하로 촘촘하게 할 수 있을 것인가?

“고품질 날씨예보는 항상 프로세싱파워에 달려있다”스위스 국립 슈퍼컴퓨팅센터 디렉터인 토마스 슐테스박사는 상세한 날씨예보를 위해서는 슈퍼컴 프로세싱파워가 관건이라고 진단했다.

스위스 기상청과 국립슈퍼컴퓨팅센터(CSCS)가 내린 결론은 CSCS에서 가동 중인 기류 메테오스위스(MeteoSwiss)시스템보다 40배 정도 강력한 슈퍼컴퓨터만이 요구한 프로세싱 파워를 제공할 수 있다고 결론 내렸다.

 ■ 스위스 기상청 SW개발자들의 도전, 세계 첫 GPU 기반구조 개발성공

오랜 연구와 시행착오 끝에 내린 결론은 CPU외에 GPU(그래픽연산처리장치)를 별도 장착한 슈퍼컴을 주문형으로 개발, 미 크레이사로부터 도입하자는 전략이었다.  스위스 기상청과 국립슈퍼컴퓨팅센터는 무작정 미 크레이사 하드웨어 고사양 슈퍼컴퓨터를 구매하는 것은 의미가 없다고 보고, 프로세싱파워를 높일 방안을 2년여간 집중 연구했다.

스위스 기상청 소프트웨어 개발자들은 기존 크레이사 슈퍼컴의 CPU 성능효율이 2~5%대에 불과한 반면 앤비디아사가 개발한 GPU의 경우 효율이 50%(오차 범위 20%)에 육박한다는 점을 주시했다.

인텔 CPU는 슈퍼컴퓨터에 수백, 수천 개가 장착되는 데, 16개 코어,12개 코어 방식으로 내장될 경우, 이중으로 된 프로세스는 이론성능의 4분의 1도 채 안 나오는 경우가 허다했다. 벡타 프로세스와 코어구조, 시스템 내 장애요소 등을 감안해볼 때 CPU 성능효율은 5%정도에 불과한 것으로 드러났기 때문이다.

특히 메모리와의 밴드위드 문제로 인해 서로 연결된 CPU는 상호작용을 하면서 작동하는 탓에 효율이 급격히 떨어지는 구조적 문제를 안고있다는 점을 스위스 기상청 개발자들은 해결하고자 했다. 반면 GPU는 계산, 연산만 빨리하기 위해서 구조 자체가 고성능을 갖추고 있다. 결국 CPU는 초당 25GB를 연산하는 데 반면, GPU는 초당 200GB를 연산 처리할 정도로 비교할 수 없는 속도 차이를 보인 것.

CPU의 경우 캐시메모리 구조가 복잡하고, 메모리 속도가 느려지면 버퍼링이 생겨 결국 메모리에서 캐시를 가져가지 못해 CPU 효율이 떨어지는 문제를 스위스 기상청 개발자들은 GPU를 채택해 해결하고자 했던 것.

스위스 기상청 SW개발자들은 앤비디아와 공동으로 GPU를 적용, COSMO방식의 국지예보모델을 개발해 적용하는 데 성공한다.

■ 메테오스위스와 CSCS, 좀 더 상세한 날씨예보의 새 길을 열다.

스위스 기상청 소프트웨어 개발자들의 이 같은 노력 덕분에 스위스날씨앱(메테오스위스)는 슈퍼컴퓨터구조에 새로운 GPU를 적용한 첫 번째 기상서비스로 기록되는 영예를 안게 된다. 

공무원이 예산을 절감하고 성능과 효율을 극대화하기 위해 2년간 시도하고 개발해 이뤄낸 날씨예보 모델이다. 스위스 국가슈퍼컴퓨팅센터(CSCS)는 2015년 12월 말 “슈퍼날씨컴퓨터”기상과 기후 스위스기상앱의 가동에 본격 착수했다.

스위스 기상청이 도입한 20억원대 슈퍼컴퓨터와 350억원대규모의 CSCS 슈퍼컴퓨터의 연동을 통해 스위스는 기존보다 더 효율적이고 빠르면서도 두배 높은 해상도의 기후모델을 계산하는 데 성공했다.  스위스 기상청은 이를 통해 심각한 날씨에 대응한 경고를 위해 기후 트래픽의 안전성을 보장하면서 메테오스위스를 통해 다양한 기상모의실험 등을 진행하고 있다.

실제 스위스 기상청은 올해부터 위험을 초래할 수 있는 극한의 날씨 여건 속에서 하는 등반, 수상스포츠외 다른 활동과 관련해 믿을만한 날씨예보를 제공하고 있다는 평가를 받고 있다. 메테오스위스에 의해 사용되는 날씨 모델은 현재 산악지역을 통과하는 펜 현상이나 폭풍과 같은 지역 날씨를 예측하는 데 사용되고 있다.

스위스 기상청이 구축한 ‘메테오스위스’는 CSCS를 비롯해 날씨시스템모델링을 위한 센터인 C2SM, 개발파트너사인 슈퍼컴시스템즈AG, 슈퍼컴제조사 크레이, 강력한 파워와 저비용에, 컴팩트하고 에너지 효율적인 슈퍼컴퓨터를 개발하는 가속컴퓨팅 전문기업인 앤비디아(NVIDIA)와 협업 연구를 통해 이뤄낸 성과다.

특히 스위스 기상청은 모험을 무릅쓰고 기존 시스템구조를 완벽하게 바꾼 ‘COSMO모델’로 불리는 애플리케이션 소프트웨어를 개발하는 데 성공, 이 시스템을 통해 극한의 스위스 날씨를 예보하는 뛰어난 예보능력을 갖추게 됐다.  이 시스템은 매우 상세한 날씨예보를 보장하기 위해 매 3시간 1.1킬로미터 격자 공간에 기반한 시뮬레이션을 반복해 실시한다. 

메테오스위스의 피터 바인더 디렉터는 “이 격자 공간은 더 정교한 강수량 분포, 스위스 산악지역에서의 폭풍과 바람 등 위험에 대한 더 디테일한 예측을 하는 것이 가능해졌다”면서 “이것은 날씨예보의 유틸리티를 증가시키는 진일보한 발걸음이다”고 평가했다.

메테오스위스는 이 시뮬레이션을 통해 2.2km 격자 공간과 함께 매일 두 차례씩 예보를 위해 21회씩 가동하는 것은 물론, 극한의 날씨 이벤트를 좀 더 세밀하게 예측하는 것을 가능하게 해주고 있다.

■ 메테오스위스, 혁신을 택하다

한국 기상청이 주목해야 할 대목이 바로 스위스 기상청의 혁신적 자세다. 스위스 기상청은 과감히 혁신적 기술을 택했고, 그 결과 한국 기상청이 도입한 550억원규모의 슈퍼컴보다 27분의 1에 불과한 20억원대 슈퍼컴을 도입하고도 한국 기상청과 엇비슷하거나 부분적으로 앞선 날씨예보능력을 갖춘 것이다.

공적인 일을 하는 공무원이 예산을 절감하고 더 효율을 높일 방안이 있는 데도 불구하고 이를 무시한 채 기존 편한 방식을 답습하며 수백억원의 예산을 낭비한다면 이는 직무유기라는 게 전문가들의 지적이다.

스위스 국립슈퍼컴퓨터센터 내에 있는 2개 캐비닛의 크레이CS-스톰 슈퍼컴퓨터는 아주 타이트하게 꽉 차있다. 각 캐비닛은 96 GPU(앤비디아 테슬라 k80) 액셀러레이터(가속기)와 24개 인텔(haswell) CPU를 위한 12하이브리드 컴퓨팅노드로 구성돼 있다. 

이들 GPU는 새로운 컴퓨터시스템의 핵심 요소중 하나다. 이들이 세배 높은 에너지효율과 기존 CPU보다 두 배 빠른 속도의 시뮬레이션을 가능케 한다. CSCS 디렉터인 토마스 슐테스박사는 “고품질 날씨예보는 항상 프로세싱파워에 달려있다” 고 단언했다.

그는 “GPU와 함께 기존 모델을 변경함으로써 우리는 기존 관습적인 재래시스템보다 훨씬 빠르고 정확하고, 에너지와 비용 측면에서 효과적인 날씨 시뮬레이션을 계산할 수 있다”고 밝혔다.

메테오스위스는 수학적 기후예측을 위한 GPU기반 컴퓨터아키텍처로 채택된 국가기후서비스로는 세계 최초다. 스위스 기상청 개발자들은 미 크레이사에 지불하는 슈퍼컴퓨터 구매비용 수백억원을 절감하면서도 성능은 세계 최고 수준의 날씨예보능력을 갖추는 성과를 이뤄낸 것이다. 

이반 벅 앤비디아 부사장 역시 “GPU 가속컴퓨팅은 조사원(연구원)과 엔지니어들이 세상의 가장 어려운 문제 일부를 해결하는 데 도움을 주고 있다”면서 “기후학적인 적용을 위해 크레이와 CSCS 가 개발한 ‘더 크레이 CS-스톰’ 컴퓨터아키텍처는 효율을 높이는 데 크게 기여하고 있다”고 평가했다.

배리 볼딩 크레이 부사장 역시 “크레이 CS-스톰시스템에 기반한 고밀도 GPU의 획기적인 사용은 CSCS와 메테오스위스,엔비디아,크레이간의 강력하면서도 협업의 파트워십이 직접적인 결과”라고 밝혔다.

그는 “GPU와 CPU간 8대 2의 비율인 크레이 CS-스톰시스템은 좀 더 상세하고 고해상도의 날씨예보를 위한 강력한 툴을 메테오스위에 제공한다”고 밝혀 미 크레이사조차도 스위스 기상청의 혁신적인 개발성과를 높이 평가했다.

관련기사 = [기상청 슈퍼컴혈세낭비-①]20억원대 슈퍼컴 스위스 기상청 날씨예보능력,550억원대 슈퍼컴 한국 기상청 앞서다

관련기사= [피치원뷰]기상청,”스위스가 20억원에 구입한 슈퍼컴 550억원 구매사실 철저히 은폐하라”거짓자료배포,충격

관련기사 = [피치원단독]기상청,550억원짜리 슈퍼컴 4호기,스위스는 20억원에 구입,혈세낭비 유착의혹