AI 썸네일형 리스트형 [생각노트] ChatGPT에 대한 조던 피터슨의 경고를 보고 🦊 Opinion 🦊 ChatGPT가 공개되고 대중을 대상으로 API가 오픈되었을 때, 나는 이 모델은 또 하나의 GPT 시리즈 정도로 생각했다. 아마도 수많은 코퍼스에 대해 아마도 다량의 피드백을 학습했을 이 새로운 모델에게 나는 몇 가지 상식적인 질문과 답하기 곤란한 질문들을 테스트해 보았고, 오픈 AI의 블로그에 소개된 ChatGPT의 가능성에 대한 내용들이 실제로 잘 작동하는 것을 확인하고 수긍했다. ChatGPT의 정성적으로 느껴지는 성능이나 여러 가지 기능에 대해 굉장히 놀랐고 대단하다고 생각했지만 동시에 와 같은 기사들에 대해서는 모델 추론 비용이나 정보의 실시간 업데이트, 설명 가능성(근거 제시)의 부족 등에 대해 생각하며 또 대중에게 공개된 모델 하나가 과대평가되어 인공지능에 대한 기대 .. 더보기 한국어 (초)거대 공개 언어모델 - Polyglot, KoGPT GPT-3를 필두로 하여 거대 파라미터의 모델에 대규모 코퍼스를 학습한 (초)거대 언어모델은 자연스러운 문장을 생성하거나 다양한 태스크를 적은 학습 데이터로 수행하는 등 뛰어난 가능성을 보였다. 하지만 학습에 막대한 자본이 필요한 거대 언어모델은 AI의 독점화 및 권력화, 그리고 데이터 및 컴퓨팅 파워 격차에 따른 기술 격차 심화를 낳을 것이라는 우려도 존재한다. 빅테크 기업이 아닌 일반 기업이나 연구자가 거대 언어 모델을 다루기는 쉽지 않은 것은 엄연한 사실이다. 이러한 상황에 변화를 가져오기 위해 Huggingface가 중심이 되는 BigScience 프로젝트에서는 를 위해 전 세계 1,000여 명의 AI 연구자들이 힘을 합쳐 다양한 언어를 포괄하는 176B 규모의 언어모델 BLOOM을 확보하여 공개.. 더보기 ChatGPT: 진실되고 보다 이로운 답변을 생성하는, OpenAI의 GPT 시리즈 ChatGPT 🤖 2022년 11월에 공개된 InstructGPT의 자매 모델 ( 참고 : InstructGPT: 인간의 지시에 따른 결과물을 완성해내는 AI) 인간과 대화의 형식으로 상호작용할 수 있는 언어모델 대화를 통해 △이어지는 질문에 답하거나 △답변의 실수를 인정하고, △잘못된 전제 조건을 지적하거나 △부적절한 요구사항을 거절하는 능력을 보임 ✅ 예시 1: 코드 디버깅을 위해 추가 질문을 하는 ChatGPT 사용자 입력: this code is not working like i expect — how do i fix it? (이 코드는 제가 생각한대로 작동하지 않습니다. 어떻게 고쳐야 하나요?) ChatGPT 답변 👉 It’s difficult to say what’s wrong with the.. 더보기 [논문리뷰] DeepMind RETRO - 수 조개의 토큰 DB로부터 정보를 검색해 강화된 언어모델 블로그 : https://www.deepmind.com/publications/improving-language-models-by-retrieving-from-trillions-of-tokens 논문 : https://arxiv.org/abs/2112.04426 Motivation 언어 모델이란 '가장 자연스러운 단어 시퀀스를 찾아내는 모델'로 단어의 시퀀스에 확률을 할당(assign) 하는 일을 하는 모델이다. 그리고 이러한 작업을 학습하기 위해 가장 보편적으로 사용하는 방법은 언어모델이 이전 단어들이 주어졌을 때 다음 단어를 예측하도록 훈련시키는 것이다. 지난 몇 년 동안 컴퓨팅 자원의 발달에 힘입어 언어모델은 더 큰 파라미터를 더 많은 데이터에 대해 학습하는 방향으로 발전해왔다. 2020년 1750.. 더보기 AI alignment - 인공지능과 사람의 <동상동몽> 근래에 자주 보이는 AI 연구 키워드 중 하나가 [ AI alignment ] 이다. alignment [əˈlīnmənt] - 조정, 정렬, 정돈 AI 정렬? 익숙지 않은 개념 탓에 사전적인 의미만 가지고는 AI alignment가 어떤 의미인지 딱 와닿지 않는다. 위키피디아에 AI alignment를 검색해보니 AI alignment에 대해 아주 자세히 정리해놓은 페이지가 있었다. https://en.wikipedia.org/wiki/AI_alignment#Problem_description AI alignment - Wikipedia From Wikipedia, the free encyclopedia Jump to navigation Jump to search Issue of ensuring ben.. 더보기 [논문리뷰] GPT3의 새로워진 버전 - InstructGPT : 인간의 지시에 따른 결과물을 완성해내는 AI InstructGPT : Training language models to follow instructions with human feedback 논문 링크 : https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf 블로그 포스팅 : https://towardsdatascience.com/the-new-version-of-gpt-3-is-much-much-better-53ac95f21cfb GPT-3 설명 : 2020.06.22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners GPT-3가 발표된 후 지난 2년간 GPT-.. 더보기 [논문리뷰] 알파코드 - Competition-Level Code Generation with AlphaCode 딥마인드 블로그 : https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode 논문 : https://arxiv.org/abs/2203.07814 이세돌 9단과의 경기에서 4-1로 승리한 알파고, 36만 개 이상의 단백질 3차원 구조를 예측한 알파폴드를 개발한 딥마인드(DeepMind) 팀이 이번에는 코딩 경진대회 문제를 푸는 코딩하는 AI, 알파코드 (AlphaCode)를 발표했다. 알파코드는 5,000명 이상의 참가자가 참가한 실제 경진대회에서 평균 54%의 상위 순위를 달성했다. 알파코드가 코딩을 학습한 방법은 최근 AI 분야에서 좋은 성능을 보이고 있는 사전학습과 fine-tuning 전략이다. 알파코드는 먼저 깃허브 등에 올.. 더보기 [ML Ops] - 지속가능한 AI서비스를 위한 Model Drift의 인지 및 관리 Model Drift란 "변화한다는 것만이 인생에서 유일하게 변하지 않는 점이다" - Heraclitus 머신러닝이 가정하는 강력한 전제 중 하나는 independent identical data이다. 즉, 모델이 지속적으로 성능을 유지하려면 모델이 처리하는 데이터와 환경이 동일해야 한다는 것이다. 하지만 현실 세계의 모든 것은 변한다. 고객, 환경, 상품, 산업 등등 변화는 끊임없이 지속된다. Model drift란 이렇게 변화하는 환경에 따라 모델의 성능이 저하되는 현상을 의미한다. Model Drift의 종류 Model Drift는 그 원인에 따라 아래과 같이 구분할 수 있다. Concept Drift : 예측하려고 하는 변수의 의미가 바뀌는 경우 (예) "금융사기" 예측 모델에서 "금융사기"의 정.. 더보기 이전 1 2 3 4 5 6 ··· 9 다음
