[지능시스템] 03장. 영상 처리

📌 영상 처리 : 특적 목적을 달성하기 위해 원래 영상을 개선된 새로운 영상으로 변환하는 작업

• 물체에서 반사된 빛이 카메라의 작은 구멍을 통해 안으로 들어가 뒷면에 있는 영상 평면에 맺힌다. 영상 평면이란 눈의 경우 망막, 필름 카메라의 경우 필름, 디지털카메라의 경우 CCD센서
• 빛이라는 아날로그 신호를 받은 CCD센서는 샘플링/양자화 과정을 거쳐 디지털 신호로 변환하고, 영상을 메모리에 저장함.
• 가로 N*세로 M(영상의 크기, 해상도)의 구간으로 샘플링 후, L단계로 양자화.
  • L은 보통 한 바이트로 표현할 수 있도록 L=256을 사용.

 

• f(j, i) : j행 i열의 명암.
• 원점이 왼쪽 위에 위치함.
• 영상을 저장하는 배열에서 화소의 위치를 지정할 때는 그림처럼 (y, x) 표기를 사용하지만 그 외에는 주로 (x, y)로 표기함.

• a : 채널이 하나인 명암 영상. 2차원 구조의 배열로 표현할 수 있다.
• b :  컬러영상은 rgb 3개의 채널로 구성되어 3차원 구조의 배열로 표현가능.
• c :  웹 캠에서 입력되는 컬러 동영상. 4차원 구조의 배열로 표현가능
• d : 컬러영상의 세 번째 축 컬러의 크기가 3보다 큰 값으로 확장된 것으로 컬러 영상에서 식별이 불가능한 농작물의 병 등이 다분광/초분과 영상에서는 식별이 가능하다.
• e : 컬러센서와 깊이 센서가 통합된 카메라. 물체까지의 거리 range를 표현한 영상. 날씨나 조명 등에서 사용
• f : 특정 조건을 만족한 점의 거리만 측정하여 라이다가 획득한 정보들

 

• rgb : 세 가지 요소를 섞으면 세상 모든 색을 표현할 수 있다는 이론
  • (0,0,0)은 검정, (1,1,1)은 하양을 나타냄

• H : 색상, S : 채도, V : 빛의 밝기(명암)
• 빛의 밝기를 알 수 있어, 아침/저녁과 같이 빛의 세기가 다른 상황에서 사진을 찍었을 경우 생기는 방해 요소를 없애준다.

• A : 크기가 8*8이고 명암단계 L =8인 입력영상
• B : 영상을 히스토그램으로 구한 것. 봉우리와 계곡을 분석하여 계곡을 임계값 T로 설정.
• C : 아래 식을 이용하여 임계값 T보다 큰 화소는 1, 그렇지 않은 화소는 0으로 바꾼 이진 영상

 

오츄 알고리즘 

: 오츄는 이진화를 최적화 문제로 바라봤는데, 실제 영상은 크기도 크고 계곡이 분명하지 않을 가능성이 높기에

모든 명암값에 대해 목적함수 J를 계산하고 J가 최소인 명암값을 최적값 t로 지정하여 임계값 T로 사용하였다.

• J를 계산하는 식은 아래와 같은 식으로, 임계값 t의 좋은 정도를 측정함. v’ 0(t)는 t로 이진화했을 때 0이 되는 화소들의 분산을, v’ 1(t)는 1이 되는 화소들의 분산을 의미한다. J는 분산들의 가중치의 합. n’ 0과 n’ 1은 t로 이진화된 영상에서 0과 1의 개수

  

• 분산이 작을수록 0인 화소 집합과 1인 화소 집합이 균일하다는 것으로, 좋은 이진 영상을 만들 수 있다. 
  (왜 분산이 더 낮아야 유리한가? 의 답)

 

 

 

연결요소 : 1의 값을 가진 연결된 화소의 집합

• OpenCV에서 연결요소는 connectedComponent 함수로 찾을 수 있다.
• 연결 요소는 고유한 정수 번호로 구분한다.

이진 영상의 모폴로지 : 영상을 변환하는 과정에서의 부작용을 줄이기 위한 연산

• 모폴로지는 구조요소를 이용하여 영역의 모양을 조작한다.
• 모폴로지의 기본 연산 : 팽창, 침식
  • 팽창 : 구조 요소의 중심을 1인 화소에 씌운 다음 구조 요소에 해당하는 모든 화소를 1로 바꾼 것. 이 과정을 1인 모든 화소에 적용한 것
    > 작은 홈을 메우거나 끊어진 영역을 하나로 연결하는 효과
    > 영역을 크게 만듦
  • 침식 : 구조 요소의 중심을 1인 화소 p에 씌운 다음 구조 요소에 해당하는 모든 화소가 1인 경우에 p를 1로 유지하고 그렇지 않으면 0으로 바꾼 것
    > 영역의 경계에 솟은 돌출 부분을 깎는 효과
    > 영역을 작게 만듦
  • 열림 : 침식을 수행한 영상에 팽창을 적용한 것
    >  대략 원래 크기 유지
  • 닫힘 : 팽창한 결과에 침식을 적용한 것
    > 대략 원래 크기 유지

 

(화소 입장에서 바라본) 영상처리화소가 새로운 값을 받는 과정

1. 점 연산 : 자기 자신으로부터 값을 받음 ex)오츄 이진화
2. 영역 연산: 이웃 화소의 값을 보고 새로운 값을 결정 ex)모폴로지
3. 기하 연산 : 기하학적 변환에 따라 다른 곳으로부터 값을 받음.

 

명암 조절 : 영상을 밝거나 어둡게 조정

1. 선형 연산 : 상수를 곱해서 더하기만 하는 연산.
   
   • 원래 명암값에 1또는 -1을 곱하고 상수를 더하므로 선형연산임
     

     

     *맨 위의 식 : 원래 영상에 양수 a를 더해 밝게 만듦. 화소가 가질 수 있는 최댓값 L-1을 넘지 않게을 취함.
     *가운데 식 : 원래 영상에 a를 빼서 어둡게 만든다. max를 취해 음수가 되는 것을 방지
     *마지막 식 : L-1에서 원래 명암값을 빼서 반전시킨 것
2. 감마 보정 : 비선형적인 시각 반응을 수학적으로 표현함
   

   

   
   
   • f는 [0, L-1] 범위의 화소 값을 L-1로 나누어 [0,1] 범위로 정규화한 영상
   • 감마는 사용자가 조정하는 값으로, 1이면 원래 영상을 유지하고 1보다 작으면 밝아지고, 1보다 크면 어두워진다.

 

히스토그램 평활화

: 히스토그램이 평평하게 되도록 영상을 조작해 영상의 명암 대비를 높임

• 명암 대비가 높아지면 영상에 있는 물체를 더 잘 식별할 수 있음
  

  

• 모든 칸의 값을 더하면 1.0이 되는 정규화 히스토그램 h’와 i번 칸은 0~i번 칸을 더한 값을 가진 누적 정규화 히스토그램 h’’를 가지고 3.6식 수행. l은 원래 명암값이고 l’는 평활화로 얻은 새로운 명암값임.

 

영역 연산

• 이웃 화소를 고려해 새로운 값을 결정
• 주로 컨볼루션 연산을 통해 이루어짐

 

📌컨볼루션 :입력 영상 f의 각 화소에 필터를 적용해 곱의 합을 구하는 연산.

• 필터를 구성하는 화소의 인덱스는 중앙을 0, 왼쪽을 -1, 오른쪽을 1로 표시함
• 2차원 필터의 크기는 h*w로 표시함. (그림 b의 경우 필터는 3*3). 보통 h와 w는 같게 하고 대칭성을 위해 홀수를 사용함
• 필터를 가장자리 화소에 씌우면 필터의 일부가 밖으로 나가기 때문에 원래 영상 f에 덧대기를 하여 가장자리를 만들 수 있다. 0 덧대기는 필요한 만큼 가장자리를 확장한 후 0으로 채우고, 복사 덧대기는 가장자리 화소의 값으로 채우는 것.
• 컨볼루션은 연산 도중에 발생하는 값을 입력 영상 f자체에 기록하는 제자리 연산으로 구현할 수 없다. (다음 화소의 값을 계산할 때 이웃 화솟값이 바뀌어 있으면 안 되기 때문) => 컨볼루션 결과는 별도의 출력 영상 f’에 기록해야 함.
• 컨볼루션은 ‘일반 연산’으로, 필터가 정해지면 목적이 결정된다. 사진의 2차원 영상 필터 u의 경우, 입력 연산의 오른쪽 3개 화솟값에서 왼쪽 3개 화솟값을 빼는 효과를 발휘하는 필터이다. 원본 영상 f를 보면 2열에서 3열로 이동하면서 값이 커지고 6->7열로 이동하면서 값이 작아진다.
  → 수직 에지가 존재한다.
• 결과영상 f’을 보면 2-3열에 양수가 나타나며, 6열에 음수가 나타남.
  →필터 u는 수직 에지를 검출하는 목적을 달성해 줌.

 

• 밝은 영역에 어두운 작은 반점이 여기저기 나타나는 경우 영상의 잡음일 가능성이 높음. 이때, 스무딩 필터 a를 이용하여 컨볼루션 하면 잡음을 누그러뜨릴 수 있는데, 왼쪽 3*3 필터를 이용할 경우 9개 화소의 평균으로 결과를 출력하기에 어떤 점의 값이 주위에 비해 아주 낮을 경우 자신은 커지고 주위는 작아져서 잡음을 누그러뜨리는 효과가 있다. BUT 부작용으로 물체의 경계를 흐릿하게 만드는 블러링이 있다.
• 샤프닝 필터 : 스무딩 필터와 반대 작용을 하는 필터. 에지를 선명하게 하여 물체의 식별을 돕는 작용을 하는데, 부작용으로 잡음을 확대함.
• 엠보싱 필터 : 물체에 돋을새김 느낌을 주는 필터.
• a의 5*5 필터의 경우 중심값이 가장 크고 중심에서 멀어질수록 작아지는 가우시안 함수에 따라 제작된 필터이다.

 

• 가우시안 함수의 모양은 표준편차(흩어진 정도) σ를 따르는데, σ가 크면 봉우리가 낮아지고 멀리까지 펴지며, 작으면 봉우리가 높아진다.
• 가우시안 함수는 중심에서 멀어지면 0에 가깝기 때문에 디지털 필터를 만들 경우 필터 크기를 한정 짓는다.
• 보통 6σ와 같거나 큰 정수중에 가장 작은 홀수를 필터 크기로 정한다.

 

---

이제까지 배운 것 : 어떤 화소가 자기 자신 또는 이웃을 보고 값을 정하는 연산.

이제 배울 것 : 영상의 크기를 조절하거나 영상을 회전하는 것. → 화소에서 값을 가져오는 기하연산을 해야 함.

---

 

동차 좌표 : 2차원 좌표(x, y)에 1을 추가해 아래와 같이 3차원 벡터로 표현

• 3개의 요소에 같은 값을 곱하면 같은 좌표를 나타냄.

• 행렬 곱셈에는 결합 법칙이 성립하기 때문에 어떤 순서로 곱하든 같은 결과를 얻는다. è 동차 좌표는 결합 법칙이 성립하기 때문에 어떤 순서로 곱하든 같은 결과를 얻는다.
  ▶ 변환해야 하는 점이 많고 여러 단계의 변환을 적용해야 하는 경우 변환 행렬을 모두 곱해 하나의 변환 행렬을 만들어두고 점마다 한 번의 행렬 곱셈으로 계산하는 큰 이점!!
• 동차 변환의 문제점 : 화소 위치를 정수로 지정하기 때문에 가장 가까운 화소에 배정하는 반올림 기법(최근접 이웃 방법)을 이용하는데, 이는 동차행렬 A로 원래 영상을 새로운 영상으로 변환하는 과정에서 값을 받지 못하는 화소가 생기는 에일리어싱 현상을 일으킨다. ( 곳곳에 구멍이 뚫린 영상이 됨 )
  • 에일리어싱 방지법 : 안티 에일리어싱 이용.
    → 변환행렬 A의 역행렬인 A^-1을 이용하여 원래 영상의 해당 화소를 찾는 후방 변환을 사용.
    BUT 여전히 최근접 이웃 방법을 사용하기에 많이 개선될 수 없음
  • 보간법을 이용하면 상당히 개선된다