이미지를 익명화하는 프로그램 - Vision + CoreImage

Vision을 이용한 얼굴 인식의 보다 상세한 예제로 자동 익명화 프로그램을 작성해보았다. 이 프로그램은 터미널에서 이미지 파일의 이름을 제시하면 해당 이미지에서 사람의 얼굴을 찾아, 해당 영역을 모자이크 처리한 PNG 파일을 생성한다.

이 프로그램은 크게 세 개의 함수로 구성된다.

detectFaces(in: completionHandler:) – 주어진 이미지(CIImage)에서 얼굴을 찾아낸다.
createAnonymizedImage(from: boundingBoxes) – 주어진 이미지와 사각형영역을 사용해서 해당 영역이 모자이크처리된 이미지를 합성한다.
main() – 명령줄 인자로 전달된 정보를 통해 이미지 파일을 열고 1, 2의 함수를 사용해서 얼굴만 모자이크 처리한 이미지를 만들어 PNG 파일로 저장한다.

얼굴을 찾기

이미지 내에서 얼굴을 찾기 위해 Vision 프레임워크를 사용한다. 이 방법에 대해서는 이미 한 번 다룬바가 있다. Vision이 얼굴을 찾아내면 찾아낸 결과인 VNFaceObservation에는 boundingBox 속성이 있는데, 이를 통해 이미지 내의 얼굴이 위치한 영역들을 얻어낼 수 있고, 이 값을 createAnonymizedImage(from:boundingBoxes:)에 넘겨서 모자이크 처리된 이미지를 얻을 것이다. 이렇게 만들어진 익명화처리된 이미지(CIImage)를 completionHandler에 전달해주면 된다.

func detectFaces(in source: CIImage, completionHandler:((CIImage) -> Void)?)
{
  let request = VNDetectFaceLandmarksRequest{ req, error in 
    // 에러 확인
    guard error == nil else {
      NSLog("Error: \(error!.localizedDescription)")
      return
    }

    // 결과 추출
    let results = req.results as? [VNFaceObservation] else {
      NSLog("Fail: Not supported result type.")
      return
    }

    // 중간 보고
    print("> found \(results.count) faces in the image")
    print("> anonymizing...")

    // 결과 이미지 생성
    let boundingBoxes = results.map{ $0.boundingBox }
    let resultImage = createAnonymizedMiage(from: source,
                        boundingBoxes:boundingBoxes)

    completionHandler?(resultImage)
  }

  let handler = VNImageRequestHandler(ciImage: source, options: [:])
  try? handler.perform([request])
}

이미지 익명화하기

이미지를 익명화하는 함수가 받는 boundingBoxes 파라미터는 0~1 사이의 위치와 크기로 노멀라이즈된 영역이다. 이를 실제 이미지 크기에 맞게 확대하는 작업이 필요한데, 이를 위해서 Vision에서 제공하는 함수인 VNImageRectForNormalizedRect(_:_:_:)를 사용한다. 첫번째 인자는 노멀라이징된 CGRect 값이고 뒤의 두 인자는 이미지의 폭과 높이 값으로 각각 Int 타입이다.

이미지를 익명화하는 순서는 다음과 같다.

먼저 이미지 전체를 모자이크 처리한 사본을 하나 만든다.
다음으로 각 boundingBox에 해당하는 영역을 흰색으로 칠한 투명 이미지 하나를 만든다. 이 이미지는 마스크로 쓰일 것이다.
다시 원래의 소스 위에 1에서 만든 이미지에 2의 이미지를 마스킹하여 합성한다. 그리하면 얼굴의 영역만 모자이크된 이미지가 남아서 원본 위에 덧그려진다.
3의 결과를 리턴한다.

func createAnonymizedImage(from source: CIImage,
                      boundingBoxes: [CGRect]) -> CIImage
{
  let (imageWidth, imageHeight) : (Int, Int) = {
    let size = source.extent.size
    return (Int(size.width), Int(size.height))
  }()

  // 마스크로 쓰일 비트맵이미지를 그리자.
  let maskImage: CIImage = {
    let ctx = CGContenxt(data: nil, 
                         width: imageWidth,
                         height: imageHeight,
                         bitsPerComponent: 8,
                         bytesPerRow: 0,
                         space: CGColorSpaceCreateDeviceGray(),
                         bitmapInfo: CGImageAlphaInfo.none.rawValue)!
    ctx.setFillColor(NSColor.white.cgColor)
    // fill(_ rects:) 를 이용해서 여러 사각형을 한 번에 그릴 수 있다. 
    ctx.fill(boundingBoxes.map{VNImageRectForNormalizedRect($0, imageWidth, imageHeight)})
    return CIImage(cgImage: ctx.makeImage()!)
  }()

  // 모자이크 처리된 이미지
  let inputImage = source.applyingFilter("CIPixllate",
       parameters: [kCIInputScaleKey: 18.0])

  // 합성한 이미지
  let resultImage = inputImage.applyingFilter("CIBlendWithMask",
        parameters:
          [kCIInputMaskImageKey: maskImage,
           kCIInputBackgroundImageKey: source])
  return resultImage
}

조립하기

이상의 내용을 조립하는 메인 함수를 작성해보자. 메인 함수에서는 프로그램 실행 시 인자로 넘겨진 파일을 열어서 익명화처리를 수행하고 그 결과를 다시 PNG 파일로 저장할 것이다.

생성된 최종 결과물은 CIImage인데, 이를 파일로 만들기 위해서는 CIContext를 사용한다. CIContext는 writePNGRepresentation(of:to:format:colorSpace:options:)라는 이미지 파일 기록 메소드를 제공하고 있다.

이 메소드에서는 format 이라는 파라미터를 요구하는데, 이는 각 픽셀의 데이터가 기록될 포맷이다. 우리는 여기서 RGB 및 Alpha 채널을 모두 사용하고, 여기에 각 픽셀은 8비트씩 사용하므로 .ARGB8 (XCode 9까지는 kCIFormatARGB8을 쓴다.) 값을 쓸 것이다.

다음은 프로그램의 전체 코드이다. 이미지의 얼굴이 너무 작은 경우나 얼굴이 옆으로 누워있는 경우에는 인식이 잘 안되는 것 같다.

이미지를 익명화하는 프로그램 – Vision + CoreImage

얼굴을 찾기

이미지 익명화하기

조립하기

관련 글 모음

얼굴을 찾기

이미지 익명화하기

조립하기

이 글 공유하기:

관련 글 모음