목 차

1. 서론
2. 본론
  2.1. 동물 행동의 정의
  2.2. 전통적인 행동분석 방식
  2.3. 행동 기록하기
  2.4. 목적에 따른 행동기록 및 분석
    2.4.1. 약물개발을 위한 실험동물의 행동분석
    2.4.2. 실험동물의 지속적인 관찰
    2.4.3. 관찰 분석을 위한 머신 러닝 사용
    2.4.4. 규칙 기반 알고리즘
    2.4.5. 지도 학습 기반 알고리즘
    2.4.6. 비지도 학습 기반 알고리즘: 마우스 케이지에서 행동 분류에 적용되는 딥러닝
    2.4.7. 비지도 학습 기반 알고리즘
    2.4.8. 목적과 대상에 따라 사용되는 다양한 머신 러닝 툴(사례)
    2.4.9. 인공지능(머신 러닝)을 이용한 제브라피시의 연구
    2.4.10. 오픈 소스(DeepLabCut)
    2.4.11. AmadeusGPT: 대화형 동물 행동 분석을 위한 자연어 인터페이스
    2.4.12. 인공지능(머신 러닝)을 이용한 동물학 분야
    2.4.13. 인공지능(머신 러닝)을 이용한 동물사육 분야
3. 결론
4. 참고문헌


1. 서론

머신 러닝은 과학분야에서 이제는 필수도구가 되었습니다. 아마도, 과학의 발전은 머신 러닝 이전과 이후로 나눌 수 있다 해도 과언이 아닐 듯싶습니다. 생물학 내의 다양한 분야에서 동물 행동의 정량적 측정은 중요한 도구입니다. 연구 대상이 행동 자체의 구조가 될 수도 있고, 신경생물학적 또는 유전학적 메커니즘을 밝히는 수단이 될 수도 있습니다. 연구자들은 이런 다양한 조건에서 행동이 어떻게 다른 지를 설명할 수 있는 방법에 관심 있습니다. 그 방법은 정량화 가능하며, 충분히 설명 가능한 것이라면 연구자들의 요구를 충족할 수 있을 것입니다. 예를 들어, 특정 신경세포들의 집단을 광유전학적(Optogenetic)으로 활성화하면 동물은 어떤 행동을 더 많이 또는 덜 보일까?라는 질문에 의해 얻어진 동물 행동 데이터를 정량적으로 자동화된 방식으로 분석을 할 수 있다면, 연구 효율을 높일 수 있으며, 다양한 방법으로 얻어진 방대한 데이터의 분석도 쉽게 가능해질 것입니다. 데이터 안에서 연구자가 직접 발견하기 힘든 특징들이 도출될 수 있고, 결과 해석에 대한 이해도도 높일 수 있을 것입니다. 많은 양의 데이터를 학습시켜서, 분석을 여러 방면으로 모색하는 머신 러닝 기술이 더욱 다양한 연구 결과들을 보여주고 있습니다. 이번 동향 리포트에서는 머신 러닝을 이용한 동물 행동 분석에 초점을 맞춰서, 사용되고 있는 다양한 툴 소개와 행동 분석 모델 등을 소개합니다.

이 동향 리포트는 자연적인 또는 조절된 실험 대상체의 행동 결과를 컴퓨터를 이용한 분석 방법에 대한 전반적인 개요를 제공합니다. 또한, 자동 기록과 추적, 그리고 분류 등의 기능을 가진 최신 툴들을 소개합니다. 이번 동향 리포트는 (a) 생물학자가 관심을 가질 만한 방법과 기능에 관심이 있는 컴퓨터 비전 연구자(머신 러닝 기술 연구자)와 (b) 행동 분석을 개선하기 위해 머신 러닝 기술 방법에 관심이 있거나 분석으로 확장하려는 생물학자에게 도움이 될 것입니다.

2. 본론

2.1. 동물 행동의 정의

행동이란 동물(또는 사람)이 수행하는 일련의 동작을 말합니다. 그렇다면 어떤 동작을 고려해야 할까요? 그리고 그것들을 어떻게 그룹화해야 할까요? 행동은 굴로 이동하기 [1], 포식자로부터 탈출하기 [2], 짝을 구하기 [3], 경쟁자를 물리치기 [4, 5]등 목표에 따라 정의할 수 있습니다. 행동은 정형화되어 있거나 가변적일 수 있으며, 지속 시간도 매우 다양할 수 있습니다 (그림 1a). 하나의 행동은 종종 더 작은 행동으로 세분화될 수 있습니다 [6, 7]. 초파리 행동의 경우, 수컷 초파리가 암컷을 향해 방향 찾기, 두드리기, 노래 부르기 등의 일련의 동작을 구애 행동으로 묶을 수 있으며([8], 그림 1a, 구애(courtship)), 짝을 구한다는 동일한 목표를 가진 다양한 동작을 구애 행동으로 함께 분류할 수 있습니다. 이러한 단순한 행동(방향 잡기, 두드리기, 노래 부르기)은 그 자체로도 하나의 행동이며, 규칙에 따라 더 작은 행동으로 세분화할 수 있습니다. 하위 행동은 특정 행동에만 국한되거나 서로 다른 행동 간에 공유될 수 있습니다 (그림 1b).

행동의 정확한 정의는 연구의 목표에 따라 달라집니다. 먹이 찾기에 관심이 있는 연구자는 먹이 공급원과 관련된 환경 내 동물의 위치에 초점을 맞출 것이고, 사회적 행동에 관심이 있는 연구자는 환경 내 위치와 관계없이 다른 동물과의 움직임과 방향 변화에 초점을 맞출 것입니다. 연구 목적에 따라, 행동은 동물이 하는 모든 움직임으로 정의합니다.

그림 1. 시간 및 가변성 척도에 따른 행동 구조. 
(a) 행동은 짧고 정형화된 행동의 기본 요소부터 길고 다양한 구애 행동에 이르기까지 지속 시간과 가변성이 다양합니다. (1) 걸음, (2) 도달, (3) 음절, (4) 파악, (5) 방향, (6) 교미, (7) 달리기, (8) 노래하기, (9) 탐색하기, (10) 먹이 찾기, (11) 싸움, (12) 구애 및 (13) 인간 언어를 예로 들었습니다. (b) 특정 행동은 하위 행동으로 구성될 수 있으며, 그 중 일부는 서로 다른 상위 행동 간에 공유될 수 있습니다 [9].

2.2. 전통적인 행동분석 방식 

역사적으로 연구자들은 주로 두 가지 방법을 통해 동물의 행동을 분석해 왔습니다. 하나는 관찰자가 직접 행동을 상세하게 기술하는 방식이고, 다른 하나는 복잡한 행동의 특정 측면을 포착하기 위해 설계된 간단한 실험 방법입니다. 전자의 대표적인 예는 모든 대상 동물의 행동을 기록하는 초점 샘플링이며 [10, 11], 후자의 예로는 마우스의 지배적 행동을 평가하기 위해 좁은 튜브에서의 우선 통행권을 측정하는 튜브 테스트가 있습니다 [12]. 상세한 수동 기술은 많은 시간과 노력이 필요하며, 실험실 간 표준화가 어렵지만, 유용한 메커니즘의 세부 정보를 제공하고 중요한 행동을 정확히 포착할 수 있습니다. 반면, 간단한 실험 방법은 적용이 쉽고 빠르며 실험실 간 표준화가 용이하지만, 중요한 행동의 측정을 놓치거나 메커니즘의 세부 정보를 감추는 경우가 있을 수 있습니다.

튜브 테스트를 예로 들면, 이 간단하고 널리 사용되는 방법은 마우스의 지배 행동을 테스트하기 위해 Lindzey와 그의 동료들에 의해 처음 개발되었습니다(1961). 그러나 5년 후, 이들 연구자는 튜브 테스트 결과를 음식에 대한 우선 접근권과 싸움에서의 성공이라는 두 가지를 생물학적으로 직접적인 지배성 측정법과 함께 비교했습니다. 이 실험들은 튜브 테스트가 음식 접근 권리나 싸움에서의 성공으로 기록된 마우스 간의 지배성관계를 예측하지 못 할 뿐더러 실제로는 이와 반대의 상관관계를 보인다는 것을 밝혀냈습니다 [13]. 이는 다른 방법들이 마우스의 공격성과 관련된 다양한 측면을 측정하고 있다는 것을 시사합니다. 따라서, 실험실 간에 쉽게 실행하고 표준화할 수 있음에도 불구하고, 간단한 실험 방법은 연구자들이 중요하게 여기는 행동의 특정 측면을 쉽게 놓칠 위험이 있습니다.

그러나 상세한 수작업 주석도 시간과 노력을 넘어서는 어려움이 있습니다. 특히, 관찰자 간 또는 동일 관찰자가 시간에 따라 보이는 분류의 변동성은 실험실 간 결과 비교를 어렵게 만드는 주요 문제 중 하나입니다. 이런 어려움을 극복하기 위해, 연구자들은 종종 관찰된 행동을 수치 지수로 요약하여 행동의 특정 측면을 포착하기도 합니다 [14, 15]. 하지만, 이런 요약은 행동의 근본적인 구조와 그 세밀한 메커니즘을 애매하게 만들 수도 있습니다.

복잡하고, 어려운 문제들의 해결은 컴퓨터를 이용한 분석 기법이 개발되면서 하나, 둘 씩 해결돼 왔습니다. 이번 동향 리포트에서는 컴퓨터 분석 기법을 활용하면서 복잡한 수작업 주석이나 상관관계에 의존하지 않고도 원하는 행동을 직접 관찰하고 정량화하는 것을 소개합니다. 이제 연구자들은 기존 행동 분석의 효율성을 유지하면서도 상세한 기계적 구조를 제공하는 고해상도의 행동 분석을 수행할 수 있습니다.

2.3. 행동 기록하기 

실험 방법과 목적에 따라, 실험체의 행동을 기록하는 방법이 조금씩 달라질 수 있습니다. 행동은 짧고 단순한 것부터 길고 복잡한 것까지 다양합니다 — 예를 들어, 청각 목표물을 향한 빠른 눈 움직임(saccade) 같은 경우부터 [16] 구애 행동과 같은 복잡한 연속 동작 [17]까지 있습니다 (그림 1a). 관심 있는 행동을 식별한 후에는 이를 어떻게 기록할지 결정하는 단계가 옵니다. 이는 먼저 행동의 어떤 특징이 중요한지 결정하는 것을 필요로 합니다 — 예를 들어, 단일 동물의 위치를 한 점으로 근사하는 것으로 충분한가, 아니면 여러 동물의 여러 신체 부위의 위치를 측정해야 하는가(예, 구애 또는 공격 행동 연구) 측정하려는 행동의 특성이 어떤 기록 방법이 가장 적합한지를 결정합니다. 생물학자들은 동물 행동을 포착하기 위해 다양한 센서를 사용해 왔습니다, 여기에는 적외선 센서, 마이크로폰 배열, 레이저 도플러 진동계, 가속도계, 터치 스크린, 눈이나 머리 위치를 모니터링하기 위한 검색 코일 등이 포함됩니다. 특히, 비교적 비침습적이고, 저렴하며, 다목적인 방법이기 때문에, 비디오로 행동을 기록하고 컴퓨터 비전 기술을 사용해 행동과 관련된 특징을 추출하는 것이 일반적입니다. 여러 논의 점들이 강조될 수 있지만, 여기서는 실시간 또는 기록된 행동 영상에서 어떻게 특정 행동을 정의하는지, 어떻게 설명 가능한 특징들로 분류하여 추출하는지, 그리고 어떻게 그 특정 행동들을 정의하여 특징들과 비교분석을 하는지에 대해 초점을 맞춥니다.

2.4. 목적에 따른 행동기록 및 분석 

행동실험의 목적은 다양합니다. 실험실에서 사육 중인 마우스의 행동실험 분석이 가장 흔한 경우라 할 수 있으며, 실험동물의 크기에 따라 장소 또한 달라질 수 있습니다. 실험동물이 아닌 일반 동물의 관측을 위해서도 행동기록은 필요하며, 분석도 각각 다르게 진행될 수 있습니다.

2.4.1. 약물개발을 위한 실험동물의 행동분석 

신약개발 단계에서 약물의 효능 또는 안정성을 테스트하기 위해서는 동물실험을 빼놓을 수가 없습니다. 동물 행동실험의 빠른 분석과 유효성 확인은 전체 개발단계의 효율성과 직접적으로 연관이 되어있습니다.

신경정신 질환, 발달 장애, 그리고 신경퇴행성 질환은 복잡하며 다수의 신경회로가 관여합니다. 대부분의 경우, 표적 기반 접근법은 의미 있는 치료법을 제공하는 데 실패했으나, 표현형 스크리닝은 성공적이었습니다. 1999년부터 2008년 사이에, 새로운 작용 기전을 가진 75개의 첫 번째 등급(first-in-class) 약물이 승인되었습니다. 첫 번째 등급 약물 중 28개는 표현형 스크리닝을 사용하여 발견되었고, 17개는 표적 기반 접근법을 사용하여 발견되었습니다. 특히 중추신경계(CNS)에서는 승인된 8개의 첫 번째 등급 약물 중 7개가 표현형 스크리닝을 사용하여 발견되었습니다 [18]. 따라서, 특히 정신의학 분야에서, 다양한 표적을 가지고 있는 가장 효과적인 약물들이 우연히(약물이 동물의 행동을 어떻게 변화시키는지 관찰함으로써) 발견되기도 합니다. 여기서는 여러 다양한 툴 중에서, 행동실험 분석기술 기반으로 하는 PsychoGenics을 같이 소개합니다.

PsychoGenics의 독자적인 행동실험 기반 기술들은 SmartCubes, NeuroCubes, 그리고 PhenoCubes 시스템으로도 알려져 있으며, 행동 신경생물학에 대한 통찰력과 로봇공학 및 컴퓨터 비전(비디오 캡처 및 분석)의 발전, 그리고 대규모 시계열 및 벡터 데이터셋을 처리하고 분석하기 위한 생물정보학의 힘을 결합하였습니다. 그리고 이 시스템은 확률적 인과 추론 알고리즘을 사용합니다 (그림 2).

그림 2. SmartCubes는 행동 신경생물학에 대한 통찰력과 로봇공학 및 컴퓨터 비전(비디오 캡처 및 분석)의 발전, 그리고 확률적 인과 추론 알고리즘을 사용하여 대규모 시계열 및 벡터 데이터셋을 처리하고 분석할 수 있는 생물정보학의 힘을 결합한 플랫폼입니다. 
SmartCubes는 마우스 행동실험의 한 세션 동안 2000개 이상의 특성을 추출하여 독자적인 생물정보학을 사용함으로써, 복잡한 행동 프로파일을 독자적인 참조 데이터베이스와 비교하여 정신 장애를 치료할 화합물의 잠재력을 편향 없이 감지합니다 [19].

SmartCubes 시스템은 고속 자동화된 행동 분석 플랫폼으로, 맞춤형 하드웨어를 통해 마우스의 행동을 제어/조절하고, 세션 당 2,000개 이상의 특성을 추출한 후, 독자적인 생물 정보학을 사용하여 화합물의 잠재적 치료 효능을 감지합니다.

SmartCubes는 컴퓨터 비전과 기계적 움직임 자극을 이용하여 불안 유발 및 놀라움을 주는 자극을 통해 유발된 자발적 및 유도된 행동 반응을 탐지합니다. 행동 결과물에는 이동성, 궤적 복잡성, 신체 자세 및 형태, 단순 행동 및 행동 순서가 포함됩니다. 수집된 특성을 분석하기 위해 감독 학습 알고리즘이 사용됩니다. 세션 당 마우스 당 약 50만 개의 데이터 포인트가 수집되지만, 행동 정의, 기계 학습 기법 및 불확실성 하에서의 스마트 투표를 사용하여 이 데이터 세트를 2,000개의 대상 특성으로 축소합니다 [19].

2.4.2. 실험동물의 지속적인 관찰 

상업화되어 많은 다양한 분야에서 약물 효능을 검사하는 목적으로 사용되는 툴인 SmartCubes에서 머신 러닝에 의한 분석과정을 볼 수 있지만, 실제 많은 연구실에서 마우스를 이용한 행동실험을 관찰과 비교 분석하는 목적으로 다양한 툴들이 개발되어 오고 있습니다. 복잡한 행동관찰과 분석은 머신 러닝의 필요성을 더 크게 만듭니다. 마우스 행동의 지속적 관찰 연구법이 그중 하나가 될 수 있습니다.

마우스 유전자형의 표현형 표현, 발달 및 녹화, 그리고 신경질환에 대한 연구를 위해서 여러 방법들이 사용될 수 있겠지만, 연속적인 비디오 녹화를 통해 실험실 케이지의 ‘작은 세계'에서 마우스의 '실제 세계' 행동을 데이터화하는 것이 한 가지 방법이 될 수 있습니다. 하지만, 마우스 케이지 내부의 디자인과, 행동 분석을 위한 표지, 분석의 형태 등에는 많은 선택지가 있을 수 있습니다. 행동실험 방법과 분석 알고리즘을 통해 도출되는 결과들에 대해 살펴봅니다 (그림 3).

마우스를 자연 서식지에서 지속적으로 모니터링하는 것은 어렵지만, 실험실에서의 행동 모니터링도 그 자체로 도전이 됩니다. 대부분의 경우, 낮/밤 주기에 따른 조명 변화로 인해 ‘작은 세계’(마우스 케이지)를 영상 촬영하기 위해 고르게 조명할 수 없습니다. 또한, 마우스가 숨을 수 있는 물체들이 있기 때문에 쉽지가 않습니다(예를 들어, 마우스가 자신의 둥지를 만들기 위해 사용한 재료 아래 등입니다.). 그럼에도 불구하고, 새로운 기술의 발전으로 지속적인 데이터 수집의 자동화가 가능해지고 있습니다. 예를 들어, 동물 자체에 의해 자동으로 또는 활성화되는 전자 장치들이 행동을 지속적으로 수집할 수 있습니다 [20]. 일반적인 접근 방식은 행동 샘플링의 범위와 기간을 최대화하면서 개입을 최소화하는 것을 목표로 합니다. 이는 중요한데, 장기간에 걸친 지속적인 행동 모니터링, 또는 심지어 전 생애에 걸친 모니터링은 몇 분에서 몇 시간에 불과한 전통적인 행동 분석으로는 간과될 수 있는 행동들을 연구할 수 있는 가능성을 열기 때문입니다. 추가적인 장점으로는 실험의 신뢰성과 타당성이 증가할 수 있습니다. 중요하게도, 이 접근 방식은 동물 복지의 3Rs (Replacement, Reduction, Refinement) 원칙과 일치하는데, 이는 실험 동안 얻어진 정보의 양을 증가시킵니다 [21].

그림 3. 쥐의 실제 세계(왼쪽)와 실험실의 작은 세계(오른쪽)의 대비 [21].

작은 세계(마우스 케이지)에서의 자유 행동 데이터 수집에 더해, 자동화된 접근 방식은 실험자 또는 관찰자의 개입 없이 실험 대상동물들을 다양한 작업에 자발적으로 훈련시킬 수 있습니다. Salameh et al. (2020)은 이 접근 방식을 사용하여 미세 운동 기술을 연구하고 뇌 손상 후 운동 기능의 회복을 평가했습니다 [22]. 유사하게, Woodard et al. (2017)은 헌팅턴병의 마우스 모델에서 운동 및 인지 기능을 연구하기 위해 레버 당기기 자동 시스템을 설계했습니다 [23]. 또한, 설치류는 뇌 영상 촬영을 위해 자동화된 방식으로 장치에 자발적으로 위치하도록 조건화 되었습니다 [24, 25]. 다양한 응용을 통해서, 실험 대상체의 행동을 지속적으로 관찰하는 것은 결국 분석 알고리즘(머신 러닝 기술)의 다양성을 유도합니다.

2.4.3. 관찰 분석을 위한 머신 러닝 사용

마우스 행동은 그 복잡성 정도에 따라 다양한 범위에서 분석될 수 있습니다. 알고리즘은 움직이거나 움직이지 않는 원이나 타원으로 행동을 분류할 수 있습니다 (그림 4). 사회적 상호작용을 연구하기 위해 여러 동물이 있을 때 같은 표현을 사용하여 더 복잡한 행동 분류를 구현할 수 있습니다. 또한, 더 자세히 행동을 분석하기 위해 사용되는 특징의 복잡성을 증가시키거나 감소시킬 수 있습니다. 동물의 위치만 추적하는 대신, 마우스 행동을 특징적인 신체 자세나 움직임으로 구성된 ‘행동 음절’의 순서로 분해하는 시스템이 있습니다. 유사하게, 마우스 행동 분석은 사용된 알고리즘의 유형에 따라 규칙 기반, 지도 학습 또는 비지도 학습 행동 분류로 세 가지 다른 접근 방식으로 분류될 수 있습니다 (그림 5). 이러한 접근 방식이 상호 배타적이지 않다는 것을 주목하는 것이 중요합니다. 최근 자동화된 행동 표현형 분석 시스템들은 이러한 접근 방식의 조합을 사용합니다.

그림 4. 쥐의 ‘작은 세계’(케이지) 안에서의 행동 다양성 [21].

2.4.4. 규칙 기반 알고리즘 

규칙 기반 접근 방식은 주로 수동으로 조정된 임계값 기반 기준을 사용하여 행동을 분류합니다. 이러한 접근 방식은 분류기(모델)가 '훈련'될 필요가 없습니다. 보통, 이 접근 방식은 실험자가 몇 가지 매개변수를 결정하기 때문에 상대적으로 구현하기 쉽습니다. 임계값 적용이 가능한 특징은 마우스의 간단한 운동 기반 수면/각성 분류에서부터 마우스 간의 거리에 기반한 더 복잡한 사회적 상호작용에 이르기까지 다양합니다.

이러한 접근 방식이 간단한 임계값 알고리즘에 기반하기 때문에, 조명, 카메라 시야, 비디오 해상도 등과 같은 환경 조건의 변화에 대해 매우 견고하지 않습니다. 따라서, 규칙 기반 시스템은 실험 조건의 모든 변화에 맞춰 특징 및 기타 매개변수를 조정해야 합니다. 이로 인해 이러한 접근 방식은 확장하거나 홈 케이지에서의 홈 랙에 쉽게 적용하기 어렵습니다.

2.4.5. 지도 학습 기반 알고리즘 

지도 학습 방식에서는 인간이 라벨링 한 예시를 사용하여 분류 모델을 '훈련'시킵니다. 이 예시들은 '기준 진리'로 정의되며, 모델 추정치와 제공된 예시 사이의 거리를 최소화함으로써 모델 매개변수를 조정하고 성능을 향상시키는 방법을 결정합니다. 모델이 훈련되면, 새로운 데이터 세트에서 행동을 분류하는 데 사용될 수 있습니다. 일반적으로, 이 접근 방식을 사용하여 마우스 행동을 분류할 때, 분류는 신체 및 공간 정보(예: 속도, 자세 등)에 의존하는 사전에 정의된 특징을 사용하여 이루어집니다. 훈련하는 동안, 모델은 이러한 변화에 대한 견고성을 증가시키기 위해 다양한 실험 조건에 노출되어야 합니다. 이러한 접근 방식은 학습 알고리즘이 다양한 상황에 적용될 수 있을 만큼 일반적이면서도 관심 있는 행동을 여전히 인식할 수 있을 만큼 특정한 관련 특징을 추출하는 데 의존합니다. 지도 학습 접근 방식의 예로는 서포트 벡터 머신, 선형 및 로지스틱 회귀, 인공 신경망 등이 있습니다 (그림 5).

2.4.6. 비지도 학습 기반 알고리즘: 마우스 케이지에서 행동 분류에 적용되는 딥러닝 

최근 머신 러닝과 컴퓨터 비전 알고리즘의 발전은 마우스 행동 분석 도구의 진보를 촉진시켰습니다. 자동 마우스 행동 분석에 적용된 가장 중요한 지도 학습 접근 방식 중 하나는 딥러닝입니다 [26-30]. 이는 인공 신경망(ANNs)을 사용하는 기계 학습의 한 분야로, 본래 생물학적 뇌에서 영감을 받은 계산 형식입니다. 이 형식은 간단한 단위들이 시리즈로 쌓여 '깊은 네트워크'를 형성하는 딥 신경망(DNNs)을 사용합니다. 단위들은 연결의 강도를 나타내는 가중치로 연결됩니다. 이 가중치들은 원시 데이터에서 정보를 추출하여 주어진 과제, 이 경우 행동 분류를 해결하기 위해 예시를 기반으로 '훈련' 기간 동안 최적화됩니다. DNNs는 더 빠르고, 더 정확하며, 더 신뢰할 수 있는 자동화된 행동 분석을 더 세밀한 세부 사항으로 가능하게 했습니다 (그림 5). 예를 들어, DeepLabCut은 다양한 조건에서 마우스의 신체 자세를 추적하기 위해 딥러닝을 사용합니다 [31]. 신뢰성 있게 신체 부위를 추적할 수 있다는 것은 신체 운동학을 연구하기 위한 훌륭한 출발점을 제공할 뿐만 아니라 복잡한 행동을 자동화되고 효율적인 방식으로 연구할 수 있는 가능성을 열어줍니다.

2.4.7. 비지도 학습 기반 알고리즘 

비지도 학습 접근 방식에서는 실험자(관찰자)가 라벨링한 예시를 사용하는 대신 통계적 정규성이 데이터를 행동의 명확한 그룹(또는 클래스)으로 구분합니다. 마우스의 행동을 비지도 방식으로 분류하는 여러 접근 방식이 있습니다. 예를 들어, Wiltschko et al. (2015)은 3D 카메라를 사용하여 포즈 공간을 통한 고정된 궤적을 포착하고, 숨겨진 마르코프 모델을 사용하여 다양한 행동 모듈 간의 전환을 모델링하는 자기회귀(AR) 과정을 사용했습니다 [32]. 저자들은 마우스 오픈필드 행동이 평균적으로 350ms 지속되는 모듈로 구성되어 있다는 것을 발견했습니다. 이들은 이 접근 방식을 환경의 변화, 그리고 마우스에서의 유전적 및 신경적 조작에 대한 행동 표현형의 변화를 연구하는 데 적용했습니다. 최근에, Wiltschko et al. (2020)은 비슷한 접근 방식을 사용하여 수백 마리의 마우스의 행동을 비지도 방식으로 분석했습니다 [33]. 그들의 방법론인 모션 시퀀싱(MoSeq)은 3D 카메라로 촬영된 동물 행동을 '음절'의 순서로 분해합니다. 그들은 MoSeq를 사용하여 특정 약물과 용량으로 처리된 마우스의 확률을 예측합니다.

자동화된 실험동물 케이지 내에서의 행동 분류에 비지도 학습 접근 방식의 한 가지 장점은 행동 양식이 더 제한적인 실험 패러다임보다 풍부하다는 것입니다. 비지도 학습 접근 방식은 영향을 받는 행동이 사전에 알려지지 않을 수 있는 동물 모델의 질병 표현형 분석에 특히 중요합니다. 예를 들어, Huang et al. (2020)은 3D 카메라와 비지도 클러스터링을 사용하여 마우스 행동을 운동 특성의 구성 요소로 분리하여 마우스 특성 공간을 생성했습니다 [34]. 저자들은 자폐증 마우스 모델의 운동 활동을 대조군 마우스의 것과 구별했습니다. 마찬가지로, Luxem et al. (2020)은 자유롭게 탐색하는 마우스의 시공간 자세 추정 특성을 사용하여 저차원 마우스 행동 공간을 분해하는 변이형 오토인코더 알고리즘을 사용했습니다 [35]. 이런 기술은 비지도 행동 분석이 알츠하이머 질병의 마우스 모델을 대조군과 구별하는 것을 보여줍니다.

그림 5. 머신 러닝을 이용한 접근법; 지도 학습과 비지도 학습 기반의 알고리즘 [21].

머신 러닝을 이용한 행동 분석은 이전에 실험자 개입에 의한 주관적인 분석과 비교하였을 때, 큰 차이를 보입니다. 단순한 몇 개 요소에 대한 분석이 아닌, 전체적인 분석을 통해, 다양성과 유사성을 볼 수 있으며, 주어지는 데이터를 통해 추가 분석에 기반을 만들 수도 있습니다. 노동력의 측면에서도, 시간의 효율적인 사용으로, 여러 다른 형태의 행동실험을 빠르게 진행할 수 있다는 장점도 있습니다.

2.4.8. 목적과 대상에 따라 사용되는 다양한 머신 러닝 툴(사례) 

위의 분석설명은 마우스 케이지 내에서의 마우스의 복잡한 행동을 관찰 분류 분석한 경우를 보여줍니다. 이 밖에도 다양한 동물에서 여러 다른 프로그램을 이용하여, 분석한 경우가 많고, 현재도 연구자의 목적과 취향에 맞게 선택되거나 또는 직접 프로그램을 코딩하여 사용하고 논문에 게재하는 경우가 많습니다.

2.4.9. 인공지능(머신 러닝)을 이용한 제브라피시의 연구

마우스 이외의 다른 실험체 중에서 많이 사용되는 것은 제브라피시입니다. 제브라피시는 강력한 코티솔 스트레스 반응, 행동 유형의 차이, 약물 치료 및 포식자에 대한 민감성으로 인해 생의학 연구분야에서 널리 사용되는 모델 생물입니다 (그림 6). 최근 인공지능의 발전으로 자동 추적, 이미지 인식 및 데이터 분석이 가능해져 더 효율적이고 통찰력 있는 연구조사가 가능 해졌습니다. 딥러닝 기술의 발전으로 AI 알고리즘이 제브라피시의 이미지를 정확하게 분석하고 식별하는 데 사용되어 자동화된 테스트 및 분석을 가능하게 했습니다 (그림 7).

그림 6. 제브라피시를 모델 유기체로 활용할 수 있는 분야들. 
유전학, 약리학, 독성학, 발달, 사회적 행동, 일주기 습관, 신경학, 심장, 눈, 척추 및 기타 장기에 대한 다양한 연구에서 사용됩니다. 이러한 연구 연구에서는 일반적으로 많은 양의 데이터가 생성되며, 수동 데이터 처리는 시간이 많이 소요되며 정확도가 만족스럽지 못합니다. 따라서 제브라피시 연구에서 인공 지능(머신 러닝)을 사용하는 것은 매우 중요합니다 [36].

그림 7. 다양한 실험에 활용되는 제브라피시의 분석과정. 
머신 러닝 알고리즘을 이용하면, 제브라피시의 궤적 추적, 이미지 인식, 데이터 분석을 통해, 효율성, 정확성, 처리량, 객관성 등을 개선하고 관련 연구의 새로운 방향을 제시할 수 있습니다 [36].

2.4.10. 오픈 소스(DeepLabCut)

DeepLabCut은 심층 신경망(deep neural networks)을 기반으로 하는 오픈 소스 소프트웨어로, 비디오에서 동물의 자세를 추적하는 데 사용됩니다. 이 도구는 고품질 데이터셋에서 사전 훈련된 신경망을 활용하여 소량의 라벨링 된 데이터로도 높은 정확도의 자세 추정이 가능하게 합니다. Alexander Mathis와 Mackenzie Mathis가 주도한 연구팀에 의해 개발되었습니다 [31, 37].

특장점을 몇 가지 소개한다면,

1. 높은 정확도와 유연성: DeepLabCut은 다양한 종류의 동물과 실험 환경에 대해 높은 정확도의 자세 추정을 제공합니다. 사용자는 몇 가지 예시 프레임에 직접 라벨을 달아 학습 데이터를 생성할 수 있으며, 이는 알고리즘의 유연성을 크게 향상시킵니다.
2. 접근성과 사용의 용이성: 이 도구는 사용하기 쉽고, 고성능 컴퓨팅 자원이 필요 없는 경우가 많아 연구자들이 비교적 쉽게 접근하고 사용할 수 있습니다.
3. 다양한 연구 분야에 적용 가능: DeepLabCut은 행동 신경과학, 약리학, 생리학 등 다양한 분야에서 실험동물의 행동 분석을 위해 사용될 수 있습니다.

이와는 반대로 한계점을 본다면,

1. 데이터 라벨링에 대한 초기 작업 필요: 비록 소량의 라벨링 된 데이터로도 높은 정확도를 달성할 수 있지만, 이 초기 라벨링 작업은 시간이 소요될 수 있습니다.
2. 복잡한 행동의 분석 제한: DeepLabCut은 주로 동물의 신체 일부 위치를 추적하는 데 초점을 맞추고 있어, 복잡한 행동 패턴이나 상호작용을 분석하는 데는 한계가 있을 수 있습니다.
3. 훈련 데이터의 질과 양: 알고리즘의 성능은 훈련 데이터의 질과 양에 크게 의존합니다. 높은 다양성을 가진 데이터셋에서 훈련된 모델은 더 일반화된 분석을 제공할 수 있지만, 이를 위해서는 충분한 양질의 데이터가 필요합니다.

DeepLabCut은 실험동물행동 분석 분야에 있어 중요한 진보를 대표하며, 이 도구의 개발과 적용은 연구 방법론을 크게 향상시켰습니다. 그러나 도구의 성능을 최대화하기 위해서는 사용자(연구자)가 그 한계를 인식하고 이에 대응하는 방법을 고려해야 합니다. 예를 들어, 초기 라벨링 작업의 부담을 줄이기 위해, 연구팀은 효율적인 데이터 선택 전략을 개발하거나, 커뮤니티에서 공유되는 라벨링 된 데이터셋을 활용할 수 있습니다. 복잡한 행동 패턴의 분석에는 DeepLabCut을 다른 행동 분석 도구와 결합하여 사용함으로써, 각 도구의 장점을 최대한 활용할 수 있습니다.

또한, 최신의 머신 러닝 기술, 특히 전이 학습(transfer learning)과 강화 학습(reinforcement learning) 같은 방법론을 활용함으로써, 훈련 데이터의 양과 질에 대한 요구사항을 완화하고, 모델의 일반화 능력을 향상시킬 수 있습니다. 전이 학습을 이용하면, 다른 연구에서 개발된 사전 훈련된 모델을 사용하여 새로운 데이터셋에 대한 학습을 가속화할 수 있습니다. 이는 특히 소규모 데이터셋으로 작업하는 경우에 유용할 수 있습니다.

DeepLabCut의 성공적인 적용 사례들을 통해서 우리는 이 도구가 신경과학, 행동학, 생리학 등 다양한 분야에서 실험동물의 정밀한 행동 분석을 가능하게 하였음 볼 수 있습니다. 예를 들어, 이 도구는 제브라피시의 미세한 움직임을 분석하여 신경계 질환의 모델에서 특정 약물의 효과를 평가하는 데 사용되었습니다. 또한, 쥐의 복잡한 사회적 상호작용을 분석하여 특정 행동 패턴과 그에 대응하는 뇌 활동을 연구하는 데에도 활용되었습니다.

결론적으로, DeepLabCut은 실험 동물의 행동 분석 분야에서 중요한 도구로 자리매김하고 있습니다. 이 도구는 높은 정확도, 접근성, 그리고 다양한 연구 분야에의 적용 가능성으로 인해 주목받고 있으며, 머신 러닝의 최신 기술을 활용하여 그 한계를 극복하고자 하는 연구자들에게 더욱 유용할 것입니다. 지속적인 기술 발전과 커뮤니티의 협력을 통해, DeepLabCut은 앞으로도 실험동물행동 분석 분야에서 더욱 중요한 역할을 할 것으로 기대됩니다.

2.4.11. AmadeusGPT: 대화형 동물 행동 분석을 위한 자연어 인터페이스

현재 우리 주변에서 ChatGPT의 상용이 급격히 높아지는 것을 볼 수 있습니다. 과학 분야에서도 넓은 범위에서 활용이 되고 있는데, 동물의 행동분석을 대화형으로 분석 가능하다는 것을 보여주는 최근 연구보고를 함께 소개합니다. AmadeusGPT 인터페이스는 동물 행동에 대한 자연어 설명을 기계가 실행 가능한 코드로 변환합니다. 이를 위해 GPT3.5와 GPT4 같은 대형 언어 모델을 활용하여 상호작용 언어 기반 쿼리를 가능하게 합니다. 사용자(연구자)는 행동에 대한 언어 기반 정의를 제공하고, AmadeusGPT API를 기반으로 코드를 개발할 수 있습니다. 이 API에는 머신 러닝, 컴퓨터 비전, 시공간 추론, 시각화 모듈이 포함되어 있으며, 사용자는 결과를 상호작용적으로 개선하고 필요에 따라 새로운 행동 모듈을 추가할 수 있습니다. 중요한 점은 최고 수준의 분석을 위해 사용자(연구자)가 코드를 작성할 필요가 없다는 것입니다 [38].

하지만, AmadeusGPT 역시 한계점은 존재합니다. 동물 행동 분석을 위한 정확하고 다양한 데이터 셋이 요구됩니다. 특히, 특정 종의 행동에 대한 충분한 양의 데이터를 확보하는 것이 어려운 과제 중 하나입니다. 사용자(연구자)가 동물 행동을 자연어로 설명할 때, 이 설명이 항상 명확하고 정확하지 않을 수 있습니다. 자연어의 다양성과 모호성 때문에 정확한 코드 생성이 어려울 수 있습니다. AmadeusGPT는 현재 이러한 한계를 극복하기 위해 연구와 개발이 계속되고 있습니다. 더 많은 데이터와 정확한 자연어 처리 기술을 통해 더 나은 결과를 얻을 수 있을 것으로 기대됩니다.

2.4.12. 인공지능(머신 러닝)을 이용한 동물학 분야

신경과학에서의 사용 범주를 넘어, 기계 학습을 포함한 인공지능(머신 러닝)이 컴퓨터 비전, 자연어 처리, 음성 인식을 혁신적으로 이용하는 중요한 도구로 급부상하며 동물학 연구에 혁명을 일으켰습니다. 동물 분류, 자원 보존, 행동, 발달, 유전학 및 진화, 번식 및 건강, 질병 모델, 고생물학 등 동물학 연구에서의 인공지능(머신 러닝) 역할이 중요하게 여겨지고 있습니다 (그림 8). 쉽게, 동물 왕국 내에서 존재하는 복잡한 관계를 이해할 수 있도록 응용되고 있습니다 [39].

그림 8. 생물학 및 동물학 연구에서의 다양한 AI 모델과 그 적용 사례에 대한 타임라인 [39] 

하지만, 그림 8에서와 같이, 동물학 연구에서 인공지능(머신 러닝)의 도입이 지연되고 있습니다. 이 지연의 한 가지 이유는 동물학자들이 다양한 모델에 익숙하지 않은 것과 함께 데이터 형식의 복잡성, 데이터 부족, 소규모 샘플 학습 과제에 대한 의존성에서 비롯되는 도전과제들 때문입니다. 포괄적인 동물학 연구는 이미지, 비디오, 음향 기록, 텍스트 시퀀스, 단백질 구조에 이르기까지 복잡한 비구조화 된 데이터를 포함하며, 이는 특정 데이터 유형에 적합한 모델을 전문가가 선택하고, 경우에 따라 데이터 처리에 추가적인 노력을 요구하며, 인공지능(머신 러닝) 모델 적용에 상당한 도전을 제시합니다. 소규모 샘플 학습은 특정 종이나 생태계를 연구할 때 흔히 마주치는 또 다른 도전과제로, 특정 동물 종의 극단적인 희귀성이 충분한 데이터를 수집하는 데 상당한 도전을 제기합니다. 또한, 동물의 소리를 기반으로 식별하는 것은 귀중한 통찰을 제공할 수 있지만, 고품질의 음향 데이터를 수집하는 것은 시간과 자원이 많이 소요되어 샘플 크기에 제한을 초래합니다. 게다가, 동물 행동을 관찰하는 것은 일반적으로 시간과 노력이 필요하며, 특정 행동에 대한 심층적인 연구에 제약을 주는 한정된 데이터를 초래하는 경우가 많습니다. 이러한 상황은 신경망 훈련을 위한 희귀 종에서의 샘플이 적은 불균형 데이터셋의 발생으로 이어집니다. 앞서 나열한 한계점들과 마찬가지로, 샘플의 양이 꾸준히 누적되고, 많아진다면, 충분히 해결 가능한 부분이라 생각됩니다.

2.4.13. 인공지능(머신 러닝)을 이용한 동물사육 분야 

인공지능(머신 러닝)은 동물 사육 분야에서 동물과 그 주변 환경을 24시간 모니터링하는 데 널리 사용되며, 이는 동물의 행동과 스트레스, 질병 관리 및 예방, 그리고 축산업자의 효과적인 운영 결정에 대한 더 나은 이해로 이어집니다. 인공지능(머신 러닝)에 기반한 특히 유망한 영역 중 하나는 디지털 트윈 기술로, 현재 여러 산업 및 부문에서 효율성을 향상시키고 비용을 줄이는 데 사용되고 있습니다. 모델과는 달리, 디지털 트윈은 실제 세계의 개체의 디지털 복제본으로, 지속적인 데이터 유입으로 최신 상태를 유지합니다. 축산업 부문 내에서 디지털 트윈의 적용은 다음 전선이며, 대규모 정밀 축산업 실습, 기계 및 장비 사용, 다양한 농장 동물의 건강 및 웰빙 개선에 사용될 잠재력을 지니고 있습니다 (그림 9). 동물의 정신적 및 감정적 상태는 귀의 자세와 눈의 흰 부분 등 얼굴 특징을 검사하는 인식 기술을 사용하여 모니터링할 수 있습니다. 모델링, 시뮬레이션 및 증강 현실 기술과 함께 사용될 때, 디지털 트윈은 농부들이 더 에너지 효율적인 주거 구조를 구축하고, 번식을 위한 발정 주기를 예측하며, 축산의 부정적 행동을 억제하고, 잠재적으로 더 많은 것을 할 수 있도록 도울 수 있습니다. 모든 혁신적 기술 진보와 마찬가지로, 디지털 트윈 기술의 구현은 개별 농장의 철저한 비용 및 이익 분석을 요구할 수 있을 것 같습니다.

그림 9. 디지털 트윈 기술과 물리적 자산과의 관계에 대한 개념 [40].

3. 결론

본 리포트를 통해 우리는 머신 러닝과 컴퓨터 비전 기술이 동물 행동 분석 분야에 가져온 혁신적 변화와 잠재력에 대해 탐구해 보았습니다. 동물의 자연스러운 행동을 장시간 동안 최소한의 인간 개입으로 모니터링하는 자동화된 방식은, 계산 생태학, 번역 및 기초 신경과학 연구를 더욱 발전시킬 것으로 기대됩니다. 특히, 소규모 환경에서의 조직화된 행동과 그 연령 관련 변화에 대한 이해는 마우스 표현형을 이해하는 데 중요한 통찰력을 제공합니다.

이러한 자동 모니터링 시스템은 기존의 실험적 접근법을 대체하기 위한 것이 아니라, 표현형 분석에 새로운 시각을 제공하는 보완적인 접근법으로 간주되어야 합니다. 또한, 신경과학 분야에서는 신경 활동을 기록하고 조작하기 위한 새로운 도구들이 폭발적으로 증가하고 있으며, 이와 병행하여 현실적 맥락에서 이미지 내 대상을 자동으로 식별하는 더 정확한 컴퓨터 비전 방법이 개발되고 있습니다. 이러한 발전을 결합하는 것의 잠재력은 분명하지만, 아직 완벽하게 적용 가능한 단계는 아닙니다. 이는 데이터의 품질과 분석 방법의 장단점에 대한 깊은 이해가 필요함을 의미합니다. 따라서, 생물학자와 컴퓨터 과학자 간의 긴밀하고 지속적인 협력이 필수적입니다.

AI 기술의 지속적인 발전과 함께, 우리는 향후 다양한 분야에서 더 광범위하고 심층적인 AI 응용 프로그램의 사용이 기대됩니다. 특히, AI 기술과 동물 연구의 결합은 실험실, 자연 서식지, 농업 환경에서 생성된 다양한 데이터의 분석 요구가 증가함에 따라 중요성을 더하고 있습니다. 이는 특정 과학적 질문에 맞춤화 된 AI 모델의 전략적 선택과 적용이 더욱 중요해질 것임을 시사합니다.

결론적으로, 머신 러닝을 이용한 동물 행동 분석은 신경과학, 유전학, 질병 치료, 그리고 동물 복지에 이르는 다양한 분야에서 중요한 기여를 할 것입니다. 이러한 접근 방식은 동물 행동의 복잡한 사회적 상호작용부터 유전체 분석, 신경 네트워크 이해에 이르기까지 이러한 기술의 발전은 과학 연구 방법에 혁명적인 변화를 가져오고 있습니다. 특히, 머신 러닝을 활용한 행동 분석의 경우, 연구자들은 전에는 불가능했던 방식으로 동물의 행동을 정밀하게 관찰하고 분석할 수 있게 되었습니다. 이는 동물 행동학뿐만 아니라, 생태학, 신경과학, 유전학 등 다양한 분야에 걸쳐 광범위한 응용 가능성을 열어주고 있습니다.

머신 러닝 기술을 통해 동물 행동의 패턴을 자동으로 인식하고 분석하는 것은 연구자들에게 매우 큰 도움이 됩니다. 이를 통해, 동물의 스트레스 반응, 사회적 상호작용, 번식 행동 등을 보다 정확하고 효율적으로 이해할 수 있습니다. 또한, 이러한 기술은 야생 동물의 보호 및 관리, 동물 복지 개선, 심지어는 멸종 위기 동물의 보호에도 중요한 역할을 할 수 있습니다.

하지만 이러한 기술의 발전과 응용에는 여전히 극복해야 할 도전과제들이 존재합니다. 예를 들어, 정확하고 신뢰할 수 있는 머신 러닝 모델을 개발하기 위해서는 대량의 고품질 데이터가 필요합니다. 또한, 다양한 종의 동물들이 보여주는 복잡한 행동 패턴을 정확하게 이해하고 해석하기 위해서는 해당 분야의 전문 지식이 필수적입니다. 이러한 문제를 해결하기 위해서는 생물학자, 데이터 과학자, 컴퓨터 과학자 등 다양한 분야의 전문가들 간의 긴밀한 협력이 요구됩니다.

결론적으로, '머신 러닝을 이용한 동물 행동 분석'은 동물과 인간의 삶을 개선하는 데 있어 중요한 발전을 가능하게 하는 혁신적인 분야입니다. 이러한 기술의 발전은 연구 방법의 질을 향상시키고, 새로운 발견을 가능하게 하며, 미래에는 더욱 폭넓은 응용이 기대됩니다. 앞으로도, 이 분야의 연구는 지속적인 기술적 발전과 함께, 윤리적 고려와 지속 가능한 방식으로 진행되어야 할 것입니다.

4. 참고문헌

==>첨부파일(PDF) 참조

저자 박성모(The Hospital for Sick Children) 저자 박성모는 공포기억의 형성과 소거과정의 시냅스 가소성에 대한 연구로 박사학위를 받았다. 현재, 캐나다 토론토의 아동병원(The hospital for sick children) 소속의 연구센터에서 Research associate으로 Dr. Sheena Josselyn의 연구실에서 3년째 연구 중이다. 주된 연구 주제는 기억 세포의 역할연구와 조절을 통한 기억 조작이며, 그 외에 기억 관련 질병모델을 함께 연구 중이다