An AI model trained on large amounts of text that can answer questions, summarise and write. Chatbots and coding assistants run on an LLM.
Model AI yang dilatih dengan teks dalam jumlah besar sehingga bisa menjawab pertanyaan, meringkas, dan menulis. Chatbot dan asisten coding berjalan di atas LLM.
See also:Lihat juga: Parameters (8B, 70B), Inference
The learned numbers inside a model. 8B means 8 billion parameters. More parameters usually give better answers but need more GPU memory: a 70B model in FP8 needs about 70 GB just to load.
Angka hasil pembelajaran di dalam model. 8B artinya 8 miliar parameter. Parameter lebih banyak biasanya menghasilkan jawaban lebih baik, tapi butuh memori GPU lebih besar: model 70B di FP8 butuh sekitar 70 GB hanya untuk dimuat.
See also:Lihat juga: Precision (FP16, FP8, FP4, INT8), GPU memory (VRAM)
Using a trained model to answer requests. Most company AI projects are inference: chatbots, OCR, transcription. It needs far less hardware than training.
Memakai model yang sudah dilatih untuk menjawab permintaan. Kebanyakan proyek AI perusahaan adalah inference: chatbot, OCR, transkripsi. Kebutuhan hardware-nya jauh lebih kecil daripada training.
See also:Lihat juga: Training
Building a model from scratch with huge datasets. It needs large GPU clusters and is rarely done by enterprises; most adapt an existing model instead.
Membangun model dari nol dengan dataset sangat besar. Butuh cluster GPU besar dan jarang dilakukan perusahaan; kebanyakan mengadaptasi model yang sudah ada.
See also:Lihat juga: Fine-tuning
Further training an existing model on your own examples so it learns your terms, format or style. Cheaper than training from scratch.
Melatih lanjut model yang sudah ada dengan contoh milik Anda agar memahami istilah, format, atau gaya Anda. Lebih murah daripada training dari nol.
See also:Lihat juga: LoRA & QLoRA, RAG (Retrieval-Augmented Generation)
Fine-tuning methods that train small add-on layers instead of the whole model. LoRA needs roughly 2–3× the model size in GPU memory; QLoRA compresses the base model further. Full fine-tuning can need about 16× the model size.
Metode fine-tuning yang hanya melatih lapisan tambahan kecil, bukan seluruh model. LoRA butuh memori GPU sekitar 2–3× ukuran model; QLoRA memampatkan model dasarnya lebih jauh. Full fine-tuning bisa butuh sekitar 16× ukuran model.
See also:Lihat juga: Fine-tuning, Quantization
The chatbot first searches your documents, then answers using what it found. Answers stay grounded in company data, and documents can be updated without retraining.
Chatbot mencari di dokumen Anda dulu, lalu menjawab berdasarkan hasil pencarian itu. Jawaban tetap berpijak pada data perusahaan, dan dokumen bisa diperbarui tanpa melatih ulang model.
See also:Lihat juga: Embedding, Vector database
A list of numbers that represents the meaning of a text. Texts with similar meaning get similar numbers, which makes searching by meaning possible.
Deretan angka yang mewakili makna sebuah teks. Teks dengan makna mirip punya angka yang mirip, sehingga pencarian berdasarkan makna menjadi mungkin.
See also:Lihat juga: Vector database
A database that stores embeddings and finds the closest ones quickly. In RAG it decides which document passages the model reads. It needs fast random reads, so it sits on NVMe.
Database yang menyimpan embedding dan mencari yang paling mirip dengan cepat. Di RAG, database ini menentukan potongan dokumen mana yang dibaca model. Butuh baca acak yang cepat, jadi ditempatkan di NVMe.
See also:Lihat juga: IOPS, NVMe SSD
The unit an LLM reads and writes: a word or part of a word. In English one token is about three quarters of a word.
Satuan yang dibaca dan ditulis LLM: satu kata atau potongan kata. Dalam bahasa Inggris satu token kira-kira tiga perempat kata.
See also:Lihat juga: Context window, Tokens per second
The maximum amount of text the model can consider at once: instructions, conversation and any documents. 16K tokens is roughly 25 pages, 32K roughly 50. It is a limit, not what every request uses: a RAG question usually sends only a few relevant passages, often 4K–8K tokens in total. KV cache grows in step with the context actually used, so a 4× longer context needs about 4× the KV cache memory.
Batas maksimum teks yang bisa diperhatikan model sekaligus: instruksi, percakapan, dan dokumen. 16K token kira-kira 25 halaman, 32K kira-kira 50 halaman. Ini batas, bukan jumlah yang dipakai setiap permintaan: pertanyaan RAG biasanya hanya mengirim beberapa potongan dokumen yang relevan, sering total 4K–8K token. KV cache bertambah sebanding dengan konteks yang benar-benar dipakai, jadi konteks 4× lebih panjang butuh memori KV cache sekitar 4×.
See also:Lihat juga: KV cache, Token, RAG (Retrieval-Augmented Generation)
How fast the answer appears for each user. Around 15 tokens/s or more feels faster than reading; below 10 feels slow.
Seberapa cepat jawaban muncul untuk setiap user. Sekitar 15 token/detik atau lebih terasa lebih cepat dari membaca; di bawah 10 terasa lambat.
See also:Lihat juga: Memory bandwidth
Users sending questions at the same moment, not total users. 1,000 employees might mean only 50–100 active at peak.
User yang mengirim pertanyaan pada saat yang sama, bukan total user. 1.000 karyawan mungkin hanya 50–100 yang aktif bersamaan di jam sibuk.
See also:Lihat juga: KV cache
Working memory the model keeps for each active conversation. It grows with context length and concurrent users, and often needs as much GPU memory as the model itself.
Memori kerja yang disimpan model untuk setiap percakapan aktif. Ukurannya bertambah sesuai panjang konteks dan jumlah user bersamaan, dan sering butuh memori GPU sebesar model itu sendiri.
See also:Lihat juga: Context window, Concurrent users
How many bits each number in the model uses. FP16 uses 2 bytes per parameter, FP8 1 byte, FP4 half a byte. Lower precision saves memory and runs faster, with some risk to answer quality.
Berapa bit yang dipakai setiap angka di dalam model. FP16 memakai 2 byte per parameter, FP8 1 byte, FP4 setengah byte. Presisi lebih rendah menghemat memori dan lebih cepat, dengan sedikit risiko pada kualitas jawaban.
See also:Lihat juga: Quantization
Converting a model to a lower precision (for example FP16 to FP8 or INT4) so it fits in less memory.
Mengubah model ke presisi lebih rendah (misalnya FP16 ke FP8 atau INT4) agar muat di memori yang lebih kecil.
See also:Lihat juga: Precision (FP16, FP8, FP4, INT8)
An LLM that can also read images. Used for document extraction: it reads a scanned invoice and returns structured data.
LLM yang juga bisa membaca gambar. Dipakai untuk ekstraksi dokumen: membaca invoice hasil scan lalu mengeluarkan data terstruktur.
See also:Lihat juga: OCR
Optical character recognition: turning scanned pages and photos into text.
Optical character recognition: mengubah halaman hasil scan dan foto menjadi teks.
See also:Lihat juga: VLM (Vision Language Model)
Converting audio into text, for meeting minutes or call center records.
Mengubah audio menjadi teks, untuk notulen rapat atau rekaman call center.
AI that understands images and video: counting people, detecting safety violations or intrusions on CCTV.
AI yang memahami gambar dan video: menghitung orang, mendeteksi pelanggaran K3 atau penyusup di CCTV.
An AI application that plans steps and uses tools (search, databases, other systems) to finish a task, not just answer a question.
Aplikasi AI yang merencanakan langkah dan memakai tools (pencarian, database, sistem lain) untuk menyelesaikan tugas, bukan sekadar menjawab pertanyaan.
See also:Lihat juga: RAG (Retrieval-Augmented Generation)