합성곱 신경망 (CNN)
이미지넷챌인지에서 CNN 기반 딥러닝인 AlexNet이 우승하면서 그 동안 사람들의 관심에서 멀어졌던 인공지능 기술이 다시 크게 주목 받기 시작
적대적 생성 신경망 (GAN)
생성자와 판별자가 서로 경쟁하면서 학습하는 방법. 생성자는 판별자를 이기기 위해 계속 더욱 진짜 같은 이미지를 생성하고, 판별자는 생성자가 생성한 이미지를 판결하다보면 결국은 정말로 진짜 같은 이미지를 만들어 낼 수 있음 (딥페이크)
--> 스탠포드 대학교에서 딥페이크 감지 인공지능 개발 (정확도 96%)
알파고
구글 딥마인드 알파고 등장으로 언론과 일반인들에게 인공지능에 대한 관심 크게 증폭 시킴
트랜스포머
언어모델의 혁신 성공
문장속 단어와 같은 순차 데이터 내의 관계를 추적해 맥락과 의미를 학습하는 신경망으로 수학적 기법을 활용해 서로 떨어져 있는 데이터 요소의 의미를 파악 (구글 언어모델 BERT, OpenAI GPT-3)
연합학습
모든 인공지능 학습을 중앙에서 하는 방식에서 벗어나 사생활 보호, 효율성 증진 등을 위해 1차적으로 로컬 기기에서 처리 후 중앙에서 처리하는 방식
--> 기존 영상 참고: 인공지능 최신 기술_연합학습 (1편) /2 번 참고
자기지도학습 본격화
수 만개가 필요한 인공지능 학습의 한계를 극복하기 위해 최소한의 데이터만을 가지고 인공지능 학습을 하는 방법
GPT-2 등장
딥러닝을 이용해 인간다운 텍스트를 만들어내는 자기회귀 언어 모델
대규모 전이학습을 통해 인간처럼 대화와 업무가 가능한 모델 가능성 확인
GPT-3
--> 기존 영상 참고: [강의] 초거대 AI가 무엇인가?(대기업이 돈 싸들고 투자 중)
알파폴드
딥마인드가 단백질 구조 예측 학술대회(CASP)에서 우승하며 과학계 관심
수십만개의 단백질 구조와 아미노산 서열을 학습한 뒤 미지의 단백질이 주어지면 구조를 해독·예측
그래프 신경망 부각
소셜 네트워크, 지식 그래프, 분자 그래프와 같이 복잡한 연결 관계와 객체 간의 상호 의존성을 표현해야 니즈
그래프 데이터에서 효과적으로 작동하는 딥러닝 알고리즘이 관심 증폭되기 시작