|
지능형 IP 카메라를 이용한 CCTV 시스템에서의 실시간 개인 영상정보 보호 |
|
황기진1*, 박재표2, 양승민3 1숭실대학교 컴퓨터학과, 2숭실대학교 정보과학대학원, 3숭실대학교 컴퓨터학부
|
|
RealTime Personal Video Image Protection on CCTV System using Intelligent IP Camera |
|
GIJIN HWANG1*, JAEPYO PARK2, SEUNGMIN YANG3 1Division of Computing, Soongsil University 2Graduated School of Information Sciences, Soongsil University 3Division of Computing, Soongsil University |
|
요 약 최근 테러와 사건 사고 같은 각종 위협으로부터 개인의 재산과 생명을 보호하기 위한 목적으로, 영상 보안 장비들이 많은 장소에 설치되어 운영되고 있다. 영상 보안 장비의 기술도 점진적으로 발전하여, 고품질 고해상도 기반의 제품도 많이 출시되고 있다. 하지만, 보안을 목적으로 만들어진 CCTV 장비가 오히려 개인의 프라이버시 침해를 유발하기도 한다. 본 논문에서는 지능형 IP 카메라의 메타데이터를 이용하여 개인 영상 정보 보호를 할 수 있는 방법에 대해 제안 한다. 메타 데이터로부터 분석된 개인 영상 정보를 마스킹 할 수 있도록 시스템을 설계하였으며 사용자 권한에 따른 영상 정보 접근 방법에 대한 정의, 메타데이터의 저장 방법과 녹화 데이터 검색 시 메타데이터를 활용하는 방법을 기술 하였다. 제안된 시스템을 행정자치부에서 제시한 “공공기관 영상정보 처리기기 설치 및 운영에 관한 가이드라인”에 맞춰 적합성 여부를 비교하였다. 지금까지의 단일 서버 제품에서는 하드웨어적인 성능의 한계와 기술적인 문제로 인해, 실시간으로 개인 영상 정보 보호기법을 적용할 수 있는 방법을 찾기 어려웠다. 본 논문에서 제안하는 방법을 적용한다면 행정자치부에서 제시한 가이드라인을 충족하면서, 서버 비용을 줄이고, 시스템 복잡도를 낮출 수 있는 시스템을 구성할 수 있다.
|
|
Abstract For the purpose of protecting personal property and lives from incidents, accidents, and threats such as terrorism, video surveillance equipment has been installed and operates in many places. Video surveillance technology has gradually developed into high-quality, high-definition equipment, and a lot of products have been launched. However, closed circuit television (CCTV) equipment for security purposes can invade a person's privacy. In this paper, we propose a way to protect personal video images using meta-data in an intelligent Internet protocol (IP) camera. We designed the system to mask personal video information from meta-data, define the method of image-information access according to user privileges, and show how to utilize the meta-data during storage and recorded data searches. The suggested system complies with guidelines for CCTV installation and operation from Korea's Ministry of the Interior. Installed on only a single server so far, due to the limitations and technical difficulties of hardware performance, it has been difficult to find a method that can be applied to personal image information using real-time protection techniques. Applying the method proposed in this paper can satisfy the guidelines, reduce server costs, and reduce system complexity.
Keywords : CCTV, IP Camera, Monitoring, Personal Video Image Protection, Security |
1. 서론
범죄의 예방과 시설 안전 및 기타 교통 정보 수집을 목적으로 중앙 행정기관 및 지방자치단체 및 그 소속기관이 설치한 CCTV 대수는 전국에 65만 여대(2014년도 기준)가 운영되고 있고, 그 이외 민간에서 운영하는 것도 496만대(2013년도기준)가 있다[1].
최근에는 CCTV 의 증가와 함께 개인의 사생활 침해 문제에 대한 관심이 높아지고 있다. 행정자치부 자료에 의하면, 개인정보 침해 사건은 매년 증가하여 2015년도에는 12만 여건에 이르고 있다고 한다. 이를 예방하기 위해 행정자치부에서는 “공공기관 영상정보처리기기 설치 및 운영에 관한 가이드라인”을 제시하고 있고, 2011년에는 “개인정보보호법”도 제정되어 시행되고 있다[2].
"Table. 1"은 행자부 가이드라인을 요약한 것이다. 주요한 내용은 상업용 CCTV 시스템은 개인 영상 정보를 보호하기 위해 녹화데이터를 암호화⦁복호화 할 수 있어야 하며, 녹화 되거나 화면에 출력되는 개인 영상 정보에 대해서 사용자 권한별 보호/ 비보호 조치를 할 수 있는 기능을 제공하여야 한다. 또한 개인 영상 정보에 대한 접근권한을 부여할 수 있도록 사용자 정보가 구분되어야 한다[3]. 현재 세계 시장에서 판매되는 상업용 CCTV 시스템 중에서는 실시간으로 개인 영상 정보 보호 기법을 적용할 수 있는 단일 서버시스템은 찾아보기 어렵다.
|
Law |
Description |
|
Article 4.2 |
* Display CCTV signage * Not allow Audio Recording |
|
Article 4.3 |
* Agency Information * Agency Qualification * Consignment range |
|
Article 5 |
* Tasks |
|
Article 6 |
* Prior consultation before installation |
|
Article 9 |
* Safety of Privacy |
|
Article 10 |
* Rules for transfer |
|
Article 10.2 |
* Rules for Data destroy |
|
Article 12-13 |
* Rules for Privacy Video Data Read , Modify, Delete |
|
Article 23 |
* Rules for Penalty |
본 논문에서는 지능형 IP카메라의 메타데이터를 이용한 실시간 개인 영상 정보 보호 기법을 제안 한다. 지능형 IP 카메라를 사용함으로써, 카메라가 위치한 노드 단에서 실시간으로 영상정보를 분석하므로 서버에 부하를 줄일 수 있다. 분석된 결과는 메타데이터 형태로 서버로 전단된다. 서버는 전달받은 데이터를 기반으로 개인 얼굴 영상에 대한 마스킹 처리를 할 수 있도록 시스템을 설계 하였다. 또한 사용자별 권한 지정 기능을 사용하여, 권한이 없는 사용자에 대해서 개인영상정보에 접근할 수 없도록 하였다. 본 논문에서 제안된 방법을 적용한다면 행자부가 제시한 “공공기관 영상정보처리기기 설치 및 운영에 관한 가이드라인”의 준수사항에 적합한 시스템을 구현 할 수 있다.
본 논문은 2장에서 관련된 기술들을 살펴보고, 3장에서 제안하는 방법의 설계와 동작 순서에 대해 기술하고 4장에서 결론 및 향후 연구 방향을 제시한다.
2. 관련연구
2.1 개인 영상정보 저장을 위한 기술적 단계
영상 감시 시스템에서 개인정보라고 할 수 있는 것은 CCTV 카메라로부터 취득되는 개인의 얼굴 영상이다. 얼굴 영상 정보를 보호하기 위한 기술적 단계는 주어진 영상에서 얼굴 영역에 대한 ①탐지 -> ②추출 -> ③마스킹 처리 -> ④저장의 처리 단계를 거쳐야 한다.
2.2 얼굴 탐지 및 추출기법
얼굴을 탐지하고 추출하기 위해서 사용되는 알고리즘은 크게 외형기반 방법(appearance based methods), 특징기반(feature based methods), 지식기반(knowledge based methods), 탬플릿 매칭(template based methods) 방법 등이 있다.
그중 Hsu의 EyeMap 과 MouthMap 알고리즘은 눈과 입이 주위의 피부색과 비교해 볼 때 색차 성분(색상)과 휘도 성분(명암)이 다르다는 것을 이용하여, 눈과 입 후보를 검출하여 얼굴을 인식할 수 있는 방법으로 많이 사용되고 있다. 이 알고리즘은 YCbCr 색상 공간에서 눈과 입 후보를 추출한다. 눈과 입 영역에 속하는 화소는 Cr 값이 다른 영역에 비해서 높고, Cb 값은 낮으며, Cr2 특징에서는 높은 반응을 나타내고 (Cr/Cb) 특징에는 낮은 반응을 나타내는 정보를 토대로 만들어 졌다. 수식 (1)(3)은 색상 정보를 이용한 EyeMapC, MouthMap을 추출하는 식이고, 수식 (2)는 팽창(⊕)과 침식(⊖)에 의한 명암대비 정보를 이용한 EyeMapL을 추출하는 식이다[4].
(1)
(2)
(3)
Hsu의 얼굴 탐지 기법이외에 Haar-Like 특징으로 추출한 데이터를 학습을 통한 탐지할 수 있는 AdaBoost 기법도 많이 사용된다[5]. 하지만 제안된 알고리즘들은 산술연산이 복잡하고, 구현을 위한 하드웨어 리소스를 많이 필요로 하므로, 실시간 영상처리에 사용하기에는 어려움이 있다.
2.3 마스킹기법
마스킹 기법은 CCTV 영상 이미지에서 추출된 개인 영상을 미리 정의된 블록 사이즈로 나누고, 각 블록은 블록의 평균값 혹은 미리 정의된 분산 값()에 따른 가우시안 평균필터 값 등을 이용하여 영상을 흐리게 만듦으로써 해당 인물이 누군지 명확하게 식별할 수 없도록 하는 것이다. 수식(4)는 영상과 같은 2차원 공간에서 평균값이 (0,0)인 가우시안 함수를 정의한 것이다.
(4)
이러한 마스킹 기법은 원래 영상으로의 복원이 어렵다는 단점이 있다.
3. 본론
3.1 기존 단일 서버 시스템에 내재된 한계점
실시간 개인 영상 정보보호 기법을 적용하기 위해서 여러 가지 관련 연구와 방법들이 제시되었지만, 실제 시스템으로 구현된 사례를 찾기 어려운 이유를 다음과 같이 정의 할 수 있다.
⦁ Stand Alone 시스템 낮은 하드웨어 성능
⦁ 얼굴 탐지와 검출을 위한 방대한 연산 데이터
⦁ 다수의 카메라로부터 오는 영상 데이터 처리
Fig. 1. Legacy System Diagram
"Fig. 1"은 단일 서버 시스템에서의 개인 영상 정보 보호 구조를 표현한 것이다. 기존의 시스템은 아날로그 데이터를 캡쳐하여 단순 디지털 데이터로 인코딩/디코딩 하는 시스템이었다. 이러한 시스템에서 실시간 얼굴 영상 탐지와 검출을 할 수 있는 알고리즘 적용과 처리를 위한 산술계산은 불가능 하였다. 따라서 개인 영상정보 보호를 위한 방법으로 오직 녹화 데이터 백업 시 마스킹 하는 정도의 기능을 지원 한다. 이러한 단일 서버 시스템의 문제점을 해결하기 위해 멀티 서버 기반의 클라이언트 서버 시스템이 존재 하지만, 각 모듈별 독립적인 고가의 서버 비용과 서버들 상호 간 연결 및 스크램블링과 역 스크램블링을 위한 시스템 복잡도가 증가하는 단점이 있다.
3.2 제안하는 시스템의 설계
제안하는 시스템은 "Fig. 2"와 같이 하나의 단일 서버와 지능형 IP카메라로 구성된다. 개인 얼굴영상의 탐지와 검출을 시스템 외부에 존재하는 지능형 IP 카메라에서 처리함으로써, 단일 서버시스템의 과부하와 연산 처리에 대한 시스템 성능 문제를 해결 하였다. IP 카메라는 영상 데이터와 각각의 영상 프레임에 대한 객체 추출정보를 실시간으로 분석하여 메타 데이터로 전달한다. 전달된 영상 정보와 메타 데이터는 시스템에 저장되어 추후 녹화 데이터 검색에 사용된다. 시스템에서 사용자별 권한 지정을 통해, 권한이 없는 사용자의 데이터 제어가 불가능하도록 설계하였다.
Fig. 2. Suggested System Diagram
3.3 메타 데이터 와 좌표값 변환
지능형 IP카메라로부터 들어오는 메타데이터는 XML 형식을 구성되어 있다. 전송되는 각 프레임에서 추출된 객체의 정보를 전달해 준다.
Fig. 3. Meta Data Format
"Fig. 3"과 같이, 메타 데이터를 읽으면 객체의 ID가 27, Position(x , y) = (17313, 221118) 임을 알 수 있다. 이 데이터를 Full HD(1920x1080) 이미지 크기의 x, y 좌표로 비정규화 시키면 수식 5 과 같이 변경 할 수 있다.
(5)
따라서 최종 변경된 좌표와 크기는 x[2138], y[364], w[119], h[216]이다. 이렇게 변환된 값이 개인정보 보호를 위한 마스킹 오버레이 처리를 할 영역이다.
3.4 시스템 동작 시나리오
시스템은 크게 라이브 상태와 녹화 데이터 검색 상태, 그리고 데이터 백업을 진행할 경우의 동작 시나리오로 나눌 수 있다.
라이브 상태에서는 실시간으로 전송되는 데이터를 모니터를 통해 출력해야 한다. 시스템에 로그인을 한 사용자가 개인 영상 정보 보호를 위한 라이브 영상 데이터에 접근 권한이 있는 사용자인 경우와 아닌 경우로 구분 한다. 접근 권한이 있다면, 아무런 처리 없이 영상정보를 모니터에 출력 하면 된다. 개인 영상 정보 데이터의 접근 권한이 없는 경우라면, 카메라로부터 전달되는 메타 데이터에 포함된 좌표 값들을 토대로 마스킹 영역을 추출하여 해당 카메라 영상에 오버래핑 처리를 한다.
Fig. 4. Operation Algorithm
녹화 데이터 검색에서는 요청된 시간 정보를 기반으로 영상 데이터와 메타데이터를 찾는 과정이 추가적으로 필요하다. 검색된 메타 데이터를 기반으로 녹화 재생 시에 마스킹 영역에 오버래핑 처리를 한다.
데이터 백업의 경우는 녹화 데이터 검색과 동일한 형태로 검색하여 마스킹 된 영상을 따로 저장할 수 있도록 구성한다.
3.5 프로토타이핑
개인 영상 정보 보호를 위해 필요한 모듈과 제시한 알고리즘 설계를 바탕으로, 프로그램 화면을 설계 할 수 있을 것이다. 사용자 권한 설정과 권한을 지정하는 부분이 있을 것이고, 카메라로부터 전송되는 메타데이터를 표시하는 부분도 있을 것이다. 또한 개인 영상정보 보호가 적용되어 마스킹 필터가 오버래핑 한 영상 화면을 구성 할 수 있을 것이다. "Fig. 5"는 프로그램의 개인 영상정보 보호와 메타 데이터 화면의 예시이다.
Fig. 5. Personal Video Image Protection Example
3.6 기존 시스템과의 비교
"Table. 2"는 본 논문에서 제시한 시스템과 상용 시스템을 “개인 영상 정보 보호 기술 적용 여부”에 따라 비교한 표이다. 단일서버 시스템의 경우, 실시간으로 개인 영상 정보 보호 기법을 처리할 수 없으며, 라이브 상태와, 검색상태에서 개인정보 보호를 위한 기법도 적용되지 못하고 있다. 단순히 데이터 백업의 경우에만 개인정보 보호를 위한 기능을 지원하고 있다. 최근 새롭게 개발되는 멀티 서버 시스템의 경우는 각각의 서버마다 얼굴 및 사물인식과 같은 다양한 기능을 지원하고 있다.
|
|
Legacy System |
Multi Server System |
Suggested System |
|
Realtime |
X |
O |
O |
|
Live Monitoring Privacy Issue |
X |
X |
O |
|
Search Data Privacy Issue |
X |
O |
O |
|
Backup Data Privacy Issue |
O |
O |
O |
|
Data Encrypt |
O |
O |
O |
"Table. 3"에서는 행정자치부 가이드라인 항목과 비교하였다. 제안하는 방법을 적용하면 제9조 “개인정보 보호 규칙 적용”과 제 10조 “백업 데이터 제공시 준수사항” 12-13조 “개인 영상 정보 데이터의 접근 권한 관리”에 모두 만족함을 알 수 있다.
|
Guide Line |
Legacy System |
Multi Server System |
Suggested System |
|
Article 9 |
X |
O |
O |
|
Article 10 |
O |
O |
O |
|
Article 12 |
X |
O |
O |
|
Ariticle 13 |
X |
O |
O |
마지막으로 "Table. 4"에서는 시스템 구성비용 과 복잡도에 대한 비교를 하였다.
|
|
Legacy System |
Multi Server System |
Suggested System |
|
Server Cost |
Low |
High |
Low |
|
Complexity |
Low |
High |
Low |
실제 시청이나 구청 혹은 지방 자치 단체에서 운영하는 통합 영상 관제 센터에 설치된 시스템 구성을 살펴보면, 마스터 서버와 레코딩 서버, 그리고 위치기반 정보 서버 마지막으로 모니터링 클라이언트 형태로 구성 된다. 여기에 추가적인 기능으로 차량 번호판 인식이나 얼굴인식 그리고 음성 인식을 위한 서버가 추가가 되는 형태이다. 각 서버는 마스터 서버와 상호 통신 프로토콜에 의해 연동 된다. 이러한 멀티 서버 시스템이 가지고 있는 고 비용적인 측면과 시스템 상호 연결과 데이터 처리를 위한 구조적인 복잡도를 제안하는 단일 서버 형태로 구축 한다면 전체 시스템 비용과 복잡도를 낮출 수 있다는 장점이 있다.
4. 결론
나날이 증가하는 CCTV 영상 감시 환경에서 개인영상정보 보호는 중요한 이슈이다. 본 연구에서는 지능형 IP 카메라와 단일 서버로 구성된 시스템을 이용하여 개인영상 정보 보호를 위한 방법을 제안하고 설계하였다. 제안된 시스템은 행정자치부에서 제시한 가이드라인의 요구사항을 만족할 수 있고, 서버 비용의 절감과 복잡도를 줄일 수 있다. 향후 연구과제로 프로토타이핑으로 설계된 시스템을 구현하여, 실제 성능에 대한 비교 평가가 필요하다. 또한, 추출된 멀티 객체를 활용한 사용자 편의 기능에 대한 연구가 더 필요하다.
References
[1] Public institutions cctv installation status, Ministry of the Interior , 2016.
[2] Municipalities integrated CCTV control center Construction, Ministry of the Interior, 2016.
[3] A Guideline for Public Institution Video information processing equipment Install and operation , Ministry of the Interior, 2015.
[4] Dae-Dong Hwang, Joo-Chul Park, Gye-Young Kim, "Face Detection using Brightness Distribution in the Surrounding Area of Eye", The Journal of Korea Information Processing Society, vol. 16B, no. 6, pp. 443-450, 2009.
DOI: http://dx.doi.org/10.3745/kipstb.2009.16b.6.443
[5] Byung-Woo Chung, Ki-Young Park, Sun-Young Hwang, "A Fast and Efficient Haar-Like Feature Selection Algorithm for Object Detection", The Journal of Korean Institute of Communications and Information Sciences, vol. 38A, no. 6, pp. 486-491, 2013.
DOI: http://dx.doi.org/10.7840/kics.2013.38A.6.486
[6] In-Tae Jang, Dong-Woo Kim, young-Jun Song, "Real time Object Tracking Method using Multiple Cameras", The Journal of Korea Society of Industrial Information Systems, vol. 17, no. 4, pp. 51-59, 2012.
DOI: http://dx.doi.org/10.9723/jksiis.2012.17.4.051
[7] Sung-Kyu Cho, Moon-Seog Jun, "Privacy Leakage Monitoring System Design for Privacy Protection", The Journal of Korea Institute of Information Security, vol. 22, no. 1, 2012.
[8] Young-Nyuo Shin, Myung-Geun Chun, "Technical and Managerial Requirements for Privacy Protection Using Face Detection and Recognition in CCTV System, The Journal of Korea Institute of Information Security & Cryptology, vol. 24, no. 1, pp. 97-106, 2014.
DOI: http://dx.doi.org/10.13089/JKIISC.2014.24.1.97
[9] Hae-Min Moon, Sung-Bum Pan,"A Study on the Surveillance Camera System for Privacy Protection", The Journal of Korea Institute of Information and Communication Engineering, vol. 13, no. 9, pp. 1779-1786, 2009.
|
황 기 진(Gi-Jin Hwang) [정회원] |
|
|
|
•2001년 8월 : 숭실대학교 컴퓨터학과 (공학석사) •2014년 8월 : 숭실대학교 컴퓨터학과 (박사수료) |
|
<관심분야> 실시간 시스템, 운영체제, 영상 보안 |
|
|
박 재 표(Jae-Pyo Park) [종신회원] |
|
|
|
•1998년 2월 : 숭실대학교 컴퓨터학과 (공학석사) •2004년 2월 : 숭실대학교 컴퓨터학과 (공학박사) •2008년 3월 ~ 2009년 2월 : 숭실대학교 정보미디어 기술연구소 전임연구원 •2010년 3월 ~ 현재 : 숭실대학교 정보과학대학원 교수 |
|
<관심분야> 컴퓨터 통신, 보안, 암호학, 멀티미디어 통신 |
|
|
양 승 민(Seung-Min Yang) [정회원] |
|
|
|
•1983년 2월 : University of South Florida. Dept of Computer Science (MS.) •1986년 8월 : University of South Florida. Dept of Computer Science (Ph.D.) •1987년 3월 ~ 1991년 2월 : Professor in the Department of |
|
Computer Science, University of Texas at Arlington. •1993년 3월 ~ 현재 : 숭실대학교 컴퓨터학부 교수
<관심분야> Real Time System, System Fault Tolerance, Wireless Sensor Networks, Operating System, etc |
|
