AI
-
트랜스포머(Transformer)란?!AI/DeepLearning 2023. 1. 7. 18:00
구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의 구조인 인코더-디코더를 따르지만, 내부적으로 RNN 레이어 없이, 어텐션(Attention)으로만 구현한 모델 🤗 Transformers provides APIs and tools to easily download and train state-of-the-art pretrained models. Using pretrained models can reduce your compute costs, carbon footprint, and save you the time and resources required to train a model from scratch. These models support ..
-
허깅페이스(Hugging Face)란?!AI/DeepLearning 2023. 1. 7. 16:15
허깅 페이스란 자연어 처리 스타트업이 개발한 다양한 트랜스포머 모델(transformer.models)과 학습 스크립트(transformer.Trainer)를 제공하는 모듈 허깅 페이스를 사용한다면, 트랜스포머 모델 사용시 layer, model 등을 선언하거나 학습 스크립트를 구현해야하는 수고를 덜 수 있습니다. Hugging Face는 다음을 제공하는 커뮤니티 및 Data Science 플랫폼입니다. 사용자가 오픈 소스(OS) 코드 및 기술을 기반으로 ML 모델을 구축, 교육 및 배포할 수 있는 도구 광범위한 Data Scientist, Researcher 및 ML 엔지니어 커뮤니티가 함께 모여 아이디어를 공유하고, 지원을 받고, 오픈 소스 프로젝트에 기여할 수 있는 곳입니다. ------------..
-
인공신경망AI/DeepLearning 2022. 10. 13. 15:04
인공신경망 알고리즘?! - 인간 신경계를 본따서(뉴런) 만든 알고리즘 인공신경망의 목표?! - 가중치와 편향을 바꿔보며 인풋 데이터를 넣었을 때 출력층의 실제 숫자 뉴런이 출력층의 다른 뉴런들보다 활성화 될 수 있도록 만드는 것 - 아래에서 보자면은 7이라는 데이터를 넣었을 때 출력층에 있는 다른 뉴런들에 비해, "7" 이라는 뉴런이 다른 뉴런들보다 더 활성화 되게끔 하는 것 인공뉴런?! - 하나의 로지스틱 회귀 - 여러 숫자들을 받아서 하나의 숫자를 리턴하는 함수 - 동그라미가 인공뉴런이다 인공신경망?! - 뉴런들이 서로 엮어 있는 상태 - 수많은 뉴런들을 서로 그물망처럼 묶어서 정보를 앞에서 뒤로 전달 - 출력층에 나온 값을 가지고 예측 - 각 열을 하나의 층이라고 한다 - 처음에 있는 층을 입력층,..
-
시그모이드(sigmoid) & 소프트맥스(softmax)AI/MachineLearning 2022. 10. 12. 10:45
# 시그모이드 # 시그모이드 함수의 가장 중요한 특징은, 무조건 0과 1 사이의 결과를 낸다는 것 - x가 엄청 커서 무한대면은 그냥 1 - x가 엄청 작어저서 마이너트 무한대면은 그냥 0 - 우리는 주로 시그모이드 함수의 결괏값이 0.5보다 큰지 작은지 보고 결국 분류 - 여기에 어떤 인풋을 넣든 간에, 아웃풋은 무조건 0과 1 사이 값이 나온다 # 속성이 하나 일 때, 시그모이드 가설함수 # 속성이 두개 일 때, 시그모이드 가설함수 # 시그모이드(Sigmoid) vs 소프트맥스(Softmax) # Softmax Function 1. logistic regression 에서 multi-classification 문제에서 사용 2. 확률의 총 합 = 1 3. 출력층에서 사용됨(확률 표현) 4. 큰 출력 ..
-
어테션메커니즘(AttentionMechanism)AI/DeepLearning 2022. 10. 7. 11:10
어텐션 아이디어 - 입력 시퀀스를 한 번에 입력하고, 디코더에서 출력 단어를 예측하는 데 매 시점마다 전체 입력 문장을 다시 참고한다. - 전체 문장을 동일하게 참고하는 것이 아니라 예측해야 하는 단어와 연관이 있는 단어 부분에 조금 더 집중하다 어텐션 모델 - 어텐션 값계산을 한 모델 - 어텐션 모델에서 중요한 것은 어텐션 값을 어떻게 구하는가? ex) 여러가지의 어텐션 종류들 - 닷 프로덕트 어텐션 - 바다나우 어텐션 텍스트 분류에서 어텐션 메커니즘을 사용하는 이유는? RNN의 마지막 은닉 상태는 예측을 위해 사용됩니다. 그런데 이 RNN의 마지막 은닉 상태는 몇 가지 유용한 정보들을 손실한 상태입니다. 그래서 RNN이 time step을 지나며 손실했던 정보들을 다시 참고 # 문제점
-
콜백함수(EarlyStopping)AI/DeepLearning 2022. 10. 5. 14:56
tf.keras.callbacks.EarlyStopping( monitor='val_loss', min_delta=0, patience=0, verbose=0, mode='auto', baseline=None, restore_best_weights=False ) parameter 설명 1. monitor - EarlyStopping의 기준이 되는 값을 입력 ex) 만약 'val_loss'를 입력하면 val_loss가 더이상 감소되지 않을 경우 EarlyStopping을 적용 이외에도 다양한 값을 입력가능(val_acc..) 2. min_delta - 개선된 것으로 간주하기 위한 최소한의 변화량 ex) min_delta가 0.01이고, 30에폭에 정확도가 0.8532라고 할 때, 만약 31에폭에 정확도가 ..
-
LSTMAI/DeepLearning 2022. 10. 4. 17:04
# Input_shape - 3개의 인자를 받는다 - batch, window_size, time_step(samples, features, time_step) # LSTM 파라미더 보기 # return_sequences=False 인 경우, 마지막아웃풋만을 반환 x = tf.random.uniform(shape=(32,25, 1)) lstm = LSTM(20) # LSTM에서 output을 20으로 정했따.. output_a = lstm(x) output_a[0] # 한개의 데이터만 보기 => 25개의 widnow size중 하나만을, 한개의 데이터마다 20개의 출력값을 가지고 있따 output_a[:5] # 5개의 데이터 보기 output_a.shape # TensorShape([32, 20]) # ..
-
인공신경망(Artificial Neural Network)AI/DeepLearning 2022. 10. 3. 12:48
신경망 구조 - 입력, 은닉, 출력 층 3가지로 구성 된다 - 가중치를 갖는 층은 2개(입력, 은닉)이다 신경망 종류 1. 피드 포워드 신경망(Feed-Forward Neural Network, FFNN) - 오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망 2. 순환신경망(Recurrent Neutral Network) - 은닉층의 출력값을 출력층으로도 값을 보내지만, 동시에 은닉층의 출력값이 다시 은닉층의 입력으로 사용 전결합층(Fully-connected layer, FC, Dense layer) - 은닉층과 출력층에 있는 모든 뉴런은 바로 이전 층의 모든 뉴런과 연결되어 있다 - 어떤 층의 모든 뉴런이 이전 층의 모든 뉴런과 연결돼 있는 층을 전결합층(Fully-connected layer)..