[컴퓨터월드] 오늘날 데이터는 분야를 막론하고 가장 중요한 자원이다. 하지만 마냥 많은 데이터들이 축적돼 있다고 모두 유의미한 자원인 것은 아니다. 데이터가 가치를 가지기 위해서는 사용자가 원하는 시점에 필요한 데이터를 찾을 수 있는 체계가 있어야 하며, 분석에 사용할 수 있도록 일정 수준 이상의 품질이 요구된다. 이를 위해서는 사내에 있는 데이터들을 손쉽게 찾을 수 있는 검색 시스템과 지속적인 데이터 품질 유지를 위한 표준화 체계가 갖춰져야 한다.

한국수자원공사(K-water)는 수십 년 간 축적된 방대한 데이터들을 체계적으로 관리하고 활용할 수 있는 시스템을 구현하기 위해, 데이터 전문 기업 엔코아와 함께 데이터 관리 포털 구축 프로젝트를 추진했다.

시스템 별로 데이터 산재돼 관리·활용 난항
한국수자원공사는 국내의 모든 수자원 관리를 담당하는 환경부 산하 공기업이다. 하천이나 댐 등의 수자원 관련 시설 관리와 상·하수도 관리를 통한 생활용수·공업용수 공급 등을 총괄한다. 이외에도 수력·조력·수상태양광 등의 신재생에너지 사업이나 수변 지역의 산업단지·신도시 조성 등에도 참가하고 있다.

이처럼 거의 모든 수자원 산업에 영향력을 미치고 있다 보니 국내 수자원 관련 분야에 대해 가장 많고 상세한 데이터들을 보유하고 있다. 수자원공사는 1967년 처음 설립돼 약 54년 간 운영돼왔으며, 이에 따라 어마어마한 양과 다양한 종류의 데이터들을 축적하고 있다. 특히 ▲시설 운영, 수질 관리, 고객, 요금 등 운영 단계에서 발생하는 수도 데이터 ▲수질, 가뭄·홍수·지진 등 수자원에 영향을 미치는 요소들을 포함하는 수자원 데이터 ▲수자원 계획 수립과 운영, 영업 등 발전 분야 데이터 등이 핵심이다.

4차 산업혁명이 다가오고 데이터 중심 경제가 화두로 떠오르면서 수자원공사 내부에서도 데이터를 활용해야 한다는 목소리가 높아졌다. 이는 비단 IT 조직만이 아니라, 현업 부서에서도 검증된 데이터를 기반으로 계획을 수립하고 의사결정을 진행하고자 하는 수요가 확대됐다. 하지만 데이터들이 각 부서에서 관리하는 시스템별로 나뉘어 저장되고 있어, 필요한 데이터가 있더라도 해당 데이터의 존재 여부와 위치를 알기가 어려웠다.

또한 각 시스템 별로 가지고 있는 데이터 표준이 각각 달라서 분석과 활용에도 어려움이 있었다. 기존에 수자원공사는 몇 차례의 시스템 개선을 통해 각 단위 시스템별 데이터 표준 및 품질 관리를 수행해왔지만, 전사적인 데이터 표준을 갖추지는 못하고 있었다. 특히 국내의 거의 모든 수자원 데이터를 다루는 만큼 데이터의 양이 다양하고 방대해, 이를 관리하는 정보시스템도 수십 개에 달했다. 이를 모두 아우를 수 있는 데이터 표준을 정립하고 단일한 통합 관리 체계를 구축하는 것은 쉽지 않은 일이었다.

그러나 지난 2016년, 수자원공사는 대대적인 사내 업무시스템 혁신 사업을 추진했다. 해당 사업은 2019년 초까지 이어졌으며 전사자원관리(ERP) 개선 등의 대규모 프로젝트가 진행됐다. 사내 핵심 시스템들을 개선하는 대형 프로젝트가 추진되면서 기존의 데이터에 대한 관리 규정·지침, 표준화 관리 체계 등에 대해서도 개선이 이뤄졌다. 이에 따라 수자원공사는 그동안 필요성을 느끼고 있었던 전사 데이터 통합 및 표준화의 기회를 잡을 수 있었다.

전사 데이터 관리·표준화 체계 구축
2019년 초 사내 업무 시스템 혁신 사업이 종료된 후, 수자원공사는 같은 해 6월부터 사내 데이터 관리 체계 혁신에 나섰다. 가장 우선적으로 고려했던 것은 전사 차원의 데이터 관리 및 표준화 체계 구축이었다.

데이터가 모든 업무의 중심이 되면서 IT 담당자가 아닌 일반 현업 직원들 역시 데이터를 활용하려는 수요가 늘어났다. 하지만 데이터가 시스템 별로 산재돼 있고 일관된 관리 기준이 없는 기존 체계로는 필요한 시점에 원하는 데이터를 찾아서 활용하는 데 어려움이 따랐다. IT 담당자들도 자신이 맡지 않은 분야의 데이터를 확인하지 못하는 실정이었다. 이러한 문제를 해결하기 위해서는 기존의 개별 시스템 중심의 관리 체계가 아니라, 데이터를 중심으로 한 새로운 통합 관리 체계가 필요했다.

한편 현업 직원들은 “우선 데이터를 찾을 수가 없고, 찾더라도 품질이 엉망”이라고 불만을 토로했다. 특히 데이터 품질은 중요한 문제였는데, 품질이 낮은 데이터로는 올바른 분석 결과를 기대하기 어렵기 때문이다. 이에 대해 수자원공사는 데이터의 품질을 관리하기 위해 무엇보다 전사 데이터 표준을 갖추는 게 우선이라고 판단했다. 데이터 표준화가 선행되지 않으면 품질 관리 체계를 지속적으로 유지할 수 없기 때문이다.

기존에도 수자원공사의 각 부서에서는 데이터 품질 관리 시스템을 구축해서 운영하고 있었다. 하지만 부서별로 서로 다른 데이터 표준과 품질 관리 시스템을 갖추고 있다보니 서로 간에 품질 수준 격차가 크고, 여러 부서의 데이터를 통합해서 활용해야 할 경우 어려움이 많았다. 따라서 전사 차원의 데이터 표준 및 구조 관리 체계를 먼저 시스템화하고, 데이터를 계획·설계하는 시점부터 전사 차원의 데이터 표준을 준수할 수 있는 체계를 구축하고자 했다. 이어서 올해 계획돼 있는 2단계 프로젝트를 통해 개선된 데이터 품질 관리 시스템을 구축할 예정이다.

다양한 기능으로 전 직원 데이터 활용성 높여
이번 프로젝트를 통해 수자원공사는 기존의 45개 시스템 중 24개 시스템을 우선 통합 대상으로 선정하고, 전사 데이터 표준화 원칙 및 표준 사전을 정의했다. 새롭게 생성된 통합 DB를 관리하고 직원들의 데이터 활용성을 높이기 위한 데이터 관리 포털도 구축했다.

일반적으로 데이터 관리 포털은 IT 담당자들의 전유물처럼 여겨진다. 하지만 수자원공사는 새로운 데이터 관리 포털에 현업 직원들부터 개발자, 데이터 분석가·관리자 등 다양한 사용자들이 손쉽게 관심을 갖고 접근해서 활용할 수 있도록 구성했다. 활용도를 높이기 위해 메타데이터 기반의 키워드 검색 기능을 갖췄고, 편리한 업무 분류 체계를 적용해 직관적인 접근이 가능하도록 했다.

이를 통해 현업 직원은 사내에 어떤 데이터들이 있는지 검색을 통해 확인이 가능하고, 데이터를 관리하는 조직 체계나 이를 활용하기 위한 절차 등을 손쉽게 찾아볼 수 있다. 이를 통해 데이터 활용이 어렵다는 인식을 개선함으로써 현업 직원들의 데이터 기반 의사결정을 활성화시키겠다는 취지다. 또한 분석가들은 손쉬운 검색 기능 외에도 잘못된 값에 대한 오류를 신고하거나 원하는 데이터를 다른 조직에 제공 요청하는 것도 가능하다. 전사 차원에서는 이러한 데이터 제공 요청들을 통해 수요 조사가 가능하고, 장기적인 데이터 확보 계획을 수립할 수 있게 된다.

개발자들은 새로운 데이터 관리 포털에서 기존의 데이터 표준·모델·객체 등의 변경 작업 외에도 데이터의 흐름 정보(lineage)를 확인할 수 있게 됐다. 흐름 정보를 통해 개발자는 해당 데이터셋의 원천 데이터가 무엇인지 찾을 수 있고, 데이터에 변경이 있을 경우 변경 대상에 영향을 받는 하위 요소들을 확인 가능하다. 특히 개발자들은 기존에 데이터 모델링 도구로 엔코아의 ‘DA#’을 사용하고 있었는데, 이번 프로젝트의 시행사로 엔코아가 선정되면서 데이터 모델링부터 DB 객체 생성, 메타데이터 등록, 데이터 산출물 관리, 사용자 요청 처리 등 모든 업무들을 단일한 포털에서 처리할 수 있게 됐다.

아울러 관리자들은 전사 데이터에 대한 표준과 모델링을 상시 검토하고, 전사 데이터의 구조를 직관적으로 확인할 수 있다. 이외에도 정부에서 실시하는 데이터 품질관리 수준평가, 제공운영 실태평가 등에도 한층 원활하게 대응하게 됐다. 또한 전국 각지에 현장 사무소가 많은 기관 특성 상 인사이동이 잦은데, 이러한 단일 통합 관리 체계를 통해 업무 연속성과 손쉬운 인수인계를 보장할 수 있게 됐다.

정부 데이터 개방 정책에도 효율적 대처
수자원공사는 워낙 많고 다양한 데이터를 보유하고 있어 새로운 데이터 관리 포털 구축이 쉽지만은 않았다. 메타데이터 관리나 흐름 정보 분석, 영향도 분석 등은 전문 솔루션을 도입해 어려움이 적었으나, 데이터 포털 구축은 수자원공사 측에서 기존에 운영하고 있는 서비스·솔루션들이 많고 새롭게 필요로 하는 기능들도 다양해 많은 시간과 노력이 투자돼야 했다.

특히 가장 어려웠던 부분은 메타데이터 유형이 매우 다양했다는 점이다. 일반적인 기업체에서는 DB 구조정보에서 자동 수집된 데이터와 별도의 필요에 의해 추가된 데이터들을 토대로 메타데이터를 정의하는데, 수자원공사는 공기업이니만큼 정부에서 제시하는 지침을 만족시키기 위해 추가적인 개발 작업이 필요했다. 정부의 데이터 개방 정책에 따라 공공데이터 포털과 연계해 국민들이 손쉽게 활용할 수 있도록 구성해야 하기 때문이다. 이를 위해 정부에서 제시하는 43개 표준 관리 항목을 충족시키는 작업이 필요하다.

기존에는 공공데이터 포털에 게재할 데이터를 구축하기 위해 각 부서가 시스템 별로 동일한 엑셀 양식에 맞춰 데이터를 작성해야 했다. 이렇게 작성한 데이터가 모이면 이를 IT 조직에서 정리해서 정부에 제출하는 과정으로 이뤄졌다. 업무의 복잡도는 높지 않으나 많은 시간과 역량이 투자돼야 했다.

이에 수자원공사는 시행사인 엔코아와 함께 새로운 데이터 관리 포털에서 기존의 업무를 자동으로 처리할 수 있도록 구현했다. 새로운 시스템에서는 신규 데이터셋을 설계하고 생성할 때 메타데이터를 등록하도록 했으며, 이 과정에서 정부 측에 제출할 수 있는 데이터가 자동으로 생성된다. 기존에 정부 제출용 데이터를 별도의 엑셀 양식으로 만들어야 했던 것에 비하면 편의성과 업무 효율이 크게 높아졌다고 할 수 있다.

향후 수자원공사는 데이터 관리 포털을 통해 사내 데이터 활용도를 높이기 위해 노력할 계획이다. 박영순 수자원공사 정보관리처 정보관리부 차장은 “아직은 초기라서 데이터 제공 요청은 많지 않고, 개발자나 IT 담당자들이 주로 사용하고 있다”면서, “이런 시스템을 구축했다고 해서 단기간 내에 직원들의 데이터 활용도가 높아지거나 극적인 품질 개선이 이뤄지지는 않겠지만, 지속적으로 운영한다면 분명히 효과를 발휘할 것”이라고 말했다.

“적극적으로 소통하면서 문제 해결” 박영순 한국수자원공사 정보관리처 정보관리부 차장 Q. 데이터 관리 포털에 대한 직원들의 반응은? 운영 초기에는 데이터 작업 유형별 프로세스 진행, 모델링 도구 사용법 문의 등에 대해 많은 문의를 받았다. 또한 기존에 사용하던 내부 시스템과의 연계에 대한 요구도 있었는데, 가령 유지관리 담당자들은 기존에 사용하던 IT 시스템 관리 서비스(ITSM)와 데이터 관리 포털이 자동으로 연동됐으면 좋겠다고 전했다. 엔코아의 전문적인 컨설팅과 솔루션 덕분에 이러한 내부 시스템과의 연계는 현재 거의 다 완료된 상태다. 한편 내부 직원들은 대부분 새로운 데이터 관리 포털에 대해 긍정적인 반응을 보였으며, 협조 요청에도 적극적으로 나섰다. 다양한 시스템에서 운영되고 있는 데이터들을 통합 관리하기 위해서는 아무래도 각 부서의 협조가 필수적이다. 전사 직원들이 데이터 활용에 대한 수요가 높은 만큼 데이터 관리 포털의 필요성에 대해서도 잘 이해해줬기 때문에 가능한 일이었다고 생각한다. 다만 개발자들 입장에서는 기존에 데이터 테이블 생성이나 변경 작업을 자유롭게 할 수 있었는데, 새로운 시스템 하에서는 일일이 승인을 받아야 해서 불편함을 느낄 수도 있다. 분석가가 데이터 제공 요청을 하는 기능도 완전히 자유롭게 풀어놓지 않고, 해당 데이터를 보유하고 있는 담당자의 확인을 받도록 했다. 그래도 이처럼 일원화된 관리체계가 필요하다는 점에 대해서는 모두 동의하고 잘 따라주고 있다. 오히려 DB계정 생성이나 접근권한 관리 등 기존에 공문으로 결재를 받아야 했던 업무들이 시스템 상에서 담당자에게 승인만 받으면 되도록 개선돼 편해졌다고 평가하는 직원도 많은 상황이다. Q. 정보화 사업을 준비하고 있는 기관·기업에게 조언한다면? 정보화 사업은 원래 힘들고 어려운 프로젝트다. 특히 수자원공사가 진행한 데이터 관리 포털 구축 프로젝트는 여타 다른 기업·기관의 프로젝트에 비해 요구사항도 많고 필요한 기능도 많아서 시행사 측의 어려움이 많았을 것으로 예상된다. 하지만 해당 시스템의 필요성에 대해 수자원공사와 시행사가 모두 깊이 공감하고 있었기에, 과정은 힘들었지만 적극적으로 소통하면서 문제들을 해결할 수 있었다. 표준화된 고품질 데이터는 어느 순간 아무런 준비 없이 얻어지는 게 아니다. 미리 충분한 준비를 해야만 좋은 데이터를 확보할 수 있다. 데이터를 중요한 자원으로 생각한다면 당연히 생성 시점부터 잘 관리될 수 있도록 적절한 체계를 갖춰야 하고, 이것이 구성원 모두에게 내재화돼야 한다. 모두가 새롭고 개선된 데이터 관리 체계를 적극적으로 수용하고 참여해야만 정말로 필요할 때 제대로 활용할 수 있을 것이다.