[작성자:] Seongsu Bae

• Chain of Thought Prompting Elicits Reasoning in Large Language Models 리뷰

  [1] Chain of Thought Prompting Large language models 언어 모델의 크기를 계속해서 키우는 것은 모델의 성능을 향상시킬뿐만 아니라 데이터 효율성과 같은 측면에서 많은 장점을 갖고 있습니다. 그 중에서도 가장 큰 장점은 큰 언어 모델 하나로 다양한 태스크들을 수행할 수 있다는 것입니다. 특히, GPT-3의 in-context few-shot learning처럼 큰 언어 모델은 몇 개의 예제를 미리 보여주는 (exemplar-based)…

  Seongsu Bae

  2022년 8월 18일

  미분류

• Diffusion-LM Improves Controllable Text Generation 리뷰

  Background 대규모 언어 모델들은 그럴듯한 텍스트들을 만들어내는데 탁월하지만, 실제로 텍스트 생성하는 상황에서는 어느정도 통제되어야 할 필요가 있습니다. 생성할 문장들이 전체적으로 특정 감정이나 주제에 맞게 생성되어야 하거나, 더 나아가 특정 syntactic structure 와 같은 복잡한 구조에 맞는 문장이 생성할 수 있어야 하기 때문입니다. 이를 해결하기 위한 방법으로 제일 먼저 떠오르는 생각은 이러한 언어 모델들을 지도학습 세팅으로…

  Seongsu Bae

  2022년 8월 5일

  미분류