임베딩이란?텍스트는 토크나이저를 거쳐 토큰ID(정수)로 바뀐다. 그런데 ID는 번호일 뿐이라 번호 사이에 의미 관계가 없다.모델은 이 ID를 그대로 계산하지 않고, 먼저 벡터(실수 배열)로 바꾼다. 이 변환이 임베딩이다. 토큰 ID -> (임베딩 테이블 조회) -> 벡터 -> 모델 계산임베딩 테이블: 어휘 크기 x 차원 크기의 표. GPT-2는 50,257 x 768토큰 ID는 이 표의 행 번호다. 4881번 토큰의 벡터는 4881번 행이다.표의 값은 사람이 정하지 않는다. 모델 학습 중에 파라미터로 함께 학습된다.엑셀 시트로 보면 이해가 쉽다. 행은 토큰의 종류, 열은 숫자 개수고, 한 행이 곧 하나의 벡터다. 아래는 토큰 5종류, 숫자 3개짜리 미니표다.EX)행 번호 (토큰 ID)벡터0[0.2, -0..

토큰과 토크나이저란?모델은 글자를 읽지 못한다. 모델이 다루는 건 숫자뿐이다.텍스트 -> 토큰(문자열 조각) -> 토큰 ID (정수) -> 모델 -> 다음 토큰 ID -> 다시 텍스트토큰: 모델이 읽고 쓰는 최소 단위토크나이저: 텍스트와 토큰 ID를 서로 바꿔주는 변환기어휘(vocab): 토큰과 ID의 대응표. GPT-2는 약 5만개토크나이저와 모델은 한 세트로 만들어진다. 다른 모델의 토크나이저로 만든 ID를 넣으면 엉뚱한 결과가 나온다. 이해포인트- 백엔드 관점으로는 직렬화/역질렬화 계층 + 코드 테이블로 보면 가장 빨리 잡힌다. 문자열을 정수 배열로 바꿔 모델에 넘기고, 응답을 다시 문자열로 복원하는 구조.왜 단어도 글자도 아닌 '조각'일까?단위장점단점단어직관적이고 시퀀스가 짧다어휘가 폭발한다. 신..

LLM (Large Language Model) 이란?LLM(Large Language Model)은 엄청난 양의 텍스트로 학습해서, 주어진 글 다음에 올 단어(토큰)를 예측하는 모델이다. 예를 들어, "오늘 날씨가 정말 장원영이다." 이라는 입력을 받으면, 모델은 다음에 올 수 있는 단어들의 확률을 계산한다.- 좋다: 40%- 덥다: 25%- 춥다: 20%- 나머지 수 많은 후보: 15% (이 안에 장원영도 있다 ㅋㅋㅋ) 즉, LLM의 본질은 "다음 토큰의 확률분포를 출력하는 함수"다. 확률분포이므로 전부 더하면 반드시 100%가 된다. 모델이 합을 1로 맞춰주는 계산이 뒤에서 나올 softmax다. 이해 포인트- ChatGPT나 Claude가 "생각해서 답한다"기 보다, 다음 토큰을 계속 골라 이어 ..