본문 바로가기

전체 글

[논문리뷰] GPT3의 새로워진 버전 - InstructGPT : 인간의 지시에 따른 결과물을 완성해내는 AI InstructGPT : Training language models to follow instructions with human feedback 논문 링크 : https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf 블로그 포스팅 : https://towardsdatascience.com/the-new-version-of-gpt-3-is-much-much-better-53ac95f21cfb GPT-3 설명 : 2020.06.22 - [AI] - [논문리뷰] GPT3 - Language Models are Few-Shot Learners GPT-3가 발표된 후 지난 2년간 GPT-.. 더보기
[TopCoder 알고리즘] 전체탐색 - 즐거운 파티 시뮬레이션 문제에서 주어진 과정을 거쳐 나온 결과가 무엇인지 묻는다면, 전체 탐색 유형은 과정을 알려주지 않고 "가장 좋은 결과는 무엇인지" 등을 물어볼 수 있다. 선택 사항이 몇 개가 있고 어떤 것을 선택해야 할지 모르는 상황에서 전체 탐색은 모든 경우를 테스트하는 전략이다. Problem : Interesting Party 화이트씨는 다재다능한 사람이다. 그래서 그는 친구가 많다. 하지만 불행히도 그의 친구들은 누구도 다재다능하지 않다. 그들은 각자 두 개의 관심사만을 가지고 있고, 그 이외의 주제에 대해서는 대화하고 싶어 하지 않는다. 따라서 화이트 씨는 파티를 주최할 때, 모두에게 파티가 흥미롭기 위해서는 누구를 초대해야 하는지 고민이다. 화이트 씨는 파티 경험이 많지는 않지만, 친구들 모두가 공.. 더보기
[TopCoder 알고리즘] 시뮬레이션 - 키위주스 초기 상태와 어떤 작업을 수행할지를 제공하고, 그에 따라 최종 결과가 어떻게 될지 답하는 문제 유형 Problem : KiwiJuiceEasy 타로는 키위 주스를 준비했다. 타로는 0부터 N-1이라 이름을 붙인 N개의 병에 키위 주스를 넣었다. 이때 i번째 병의 용량은 capacities[i] 리터이며 타로가 i번째 병에 넣은 키위 주스의 양을 bottles[i] 리터라고 한다. 타로는 병에 키위주스를 재분배하려고 하며, 0부터 M-1까지 M회 조작한다. i번째의 조작은 타로가 병 fromId[i]부터 병 toId[i]에 키위주스를 넣는 것을 의미한다. 병 fromId[i]가 비어있거나 병 toId[i]가 꽉 차 있는 순간, 타로는 더 이상 키위주스를 넣지 않는다. N개의 요소를 가진 정수 배열 int[.. 더보기
<신곡 - 지옥편 > 단테 알리기에리의 코데디아 Per me si va ne la citta dolente, per me si va ne l'etterno dolore, per me si va tra la perduta gente. Giustizia mosse il mio alto fattore; fecemi la divina podestate, la somma sapienza e 'l primo amore. Dinanzi a me non fuor cose create se non etterne, e io etterno duro. Lasciate ogni speranza, voi ch'intrate. "여기에 들어오는 그대, 모든 희망을 버려라." 안내자 베르길리우스를 따라 지옥 구덩을 순례하는 단테. 그의 글을 읽는 나 또한 그들의 꽁무니에 숨어 무.. 더보기
[논문리뷰] 알파코드 - Competition-Level Code Generation with AlphaCode 딥마인드 블로그 : https://deepmind.com/blog/article/Competitive-programming-with-AlphaCode 논문 : https://arxiv.org/abs/2203.07814 이세돌 9단과의 경기에서 4-1로 승리한 알파고, 36만 개 이상의 단백질 3차원 구조를 예측한 알파폴드를 개발한 딥마인드(DeepMind) 팀이 이번에는 코딩 경진대회 문제를 푸는 코딩하는 AI, 알파코드 (AlphaCode)를 발표했다. 알파코드는 5,000명 이상의 참가자가 참가한 실제 경진대회에서 평균 54%의 상위 순위를 달성했다. 알파코드가 코딩을 학습한 방법은 최근 AI 분야에서 좋은 성능을 보이고 있는 사전학습과 fine-tuning 전략이다. 알파코드는 먼저 깃허브 등에 올.. 더보기
<메타버스의 시대> - 미래의 부와 기회를 선점하는 7대 메가트렌드 작년 12월까지만 해도, 자정부터 오전 6시까지의 심야 시간대동안 청소년은 온라인 게임에 접속할 수 없었다. 가 시행되었기 때문이다. 「과몰입의 위험이 높은 인터넷 게임으로부터 청소년을 보호하기 위해」 2011년 발의된 이 이안은 본의회에서 의결을 거쳐 재석의 과반이 찬성하여 통과되었다. 그런데 10년이 지난 2021년, 이번에는 이 법안을 폐지해야 한다는 안이 발의되었고, 의결을 거쳐 재석의 과반이 찬성하여 폐지되었다. 그때는 제정되고 이제와서 폐지된 강제적 셧다운제, 이 법안이 통과된 이유는 당시 투표권이 있는 성인 대다수가 게임이 없는 세상에서 태어나 게임을 해본 적이 없기 때문이라는 분석 영상을 본 적이 있다. 셧다운제 폐지의 궁국적인 이유는 "법안의 근거가 얼마나 설득력이 있는가"가 아니라 "몇.. 더보기
[ML Ops] - 지속가능한 AI서비스를 위한 Model Drift의 인지 및 관리 Model Drift란 "변화한다는 것만이 인생에서 유일하게 변하지 않는 점이다" - Heraclitus 머신러닝이 가정하는 강력한 전제 중 하나는 independent identical data이다. 즉, 모델이 지속적으로 성능을 유지하려면 모델이 처리하는 데이터와 환경이 동일해야 한다는 것이다. 하지만 현실 세계의 모든 것은 변한다. 고객, 환경, 상품, 산업 등등 변화는 끊임없이 지속된다. Model drift란 이렇게 변화하는 환경에 따라 모델의 성능이 저하되는 현상을 의미한다. Model Drift의 종류 Model Drift는 그 원인에 따라 아래과 같이 구분할 수 있다. Concept Drift : 예측하려고 하는 변수의 의미가 바뀌는 경우 (예) "금융사기" 예측 모델에서 "금융사기"의 정.. 더보기
[논문리뷰] Relative Position Representations in Transformer MOTIVATION Transformer 아키텍쳐는 인풋 시퀀스 사이의 attention을 통해 인풋 사이의 관계를 모델링한다. 이때 이 매커니즘만으로는 시퀀스의 순서를 모델링할 수 없다. 예를 들어 "철수 / 가 / 영희 / 를 / 좋아해"라는 시퀀스와 "영희 / 가 / 철수 / 를 / 좋아해"라는 시퀀스에서 "철수"에 해당하는 attention layer의 아웃풋은 두 문장에서 완벽하게 동일하다. 이러한 문제를 해결하기 위해 2017년에 발표된 Transformer 논문에서는 인풋에 위치 인코딩 (position encoding)을 더해주는 방법을 사용하였다. 여기서 위치 인코딩은 (a)sinusoidal 함수를 사용한 결정론적인 벡터나 (b)학습한 벡터를 주로 사용한다. (a) sinusoidal .. 더보기

티스토리툴바