← Tools · elhashif.net

Tools · GlossaryTools · Glosarium

IT infrastructure glossaryGlosarium infrastruktur IT

83 terms used in the AI Hardware Sizer and the other tools, explained for IT teams: AI, GPU, servers, virtualization, HCI and storage.83 istilah yang dipakai di AI Hardware Sizer dan tools lainnya, dijelaskan untuk tim IT: AI, GPU, server, virtualisasi, HCI, dan storage.

AI basicsDasar AI

21

LLM (Large Language Model)

An AI model trained on large amounts of text that can answer questions, summarise and write. Chatbots and coding assistants run on an LLM.

Model AI yang dilatih dengan teks dalam jumlah besar sehingga bisa menjawab pertanyaan, meringkas, dan menulis. Chatbot dan asisten coding berjalan di atas LLM.

See also:Lihat juga: Parameters (8B, 70B), Inference

Parameters (8B, 70B)

The learned numbers inside a model. 8B means 8 billion parameters. More parameters usually give better answers but need more GPU memory: a 70B model in FP8 needs about 70 GB just to load.

Angka hasil pembelajaran di dalam model. 8B artinya 8 miliar parameter. Parameter lebih banyak biasanya menghasilkan jawaban lebih baik, tapi butuh memori GPU lebih besar: model 70B di FP8 butuh sekitar 70 GB hanya untuk dimuat.

See also:Lihat juga: Precision (FP16, FP8, FP4, INT8), GPU memory (VRAM)

Inference

Using a trained model to answer requests. Most company AI projects are inference: chatbots, OCR, transcription. It needs far less hardware than training.

Memakai model yang sudah dilatih untuk menjawab permintaan. Kebanyakan proyek AI perusahaan adalah inference: chatbot, OCR, transkripsi. Kebutuhan hardware-nya jauh lebih kecil daripada training.

See also:Lihat juga: Training

Training

Building a model from scratch with huge datasets. It needs large GPU clusters and is rarely done by enterprises; most adapt an existing model instead.

Membangun model dari nol dengan dataset sangat besar. Butuh cluster GPU besar dan jarang dilakukan perusahaan; kebanyakan mengadaptasi model yang sudah ada.

See also:Lihat juga: Fine-tuning

Fine-tuning

Further training an existing model on your own examples so it learns your terms, format or style. Cheaper than training from scratch.

Melatih lanjut model yang sudah ada dengan contoh milik Anda agar memahami istilah, format, atau gaya Anda. Lebih murah daripada training dari nol.

See also:Lihat juga: LoRA & QLoRA, RAG (Retrieval-Augmented Generation)

LoRA & QLoRA

Fine-tuning methods that train small add-on layers instead of the whole model. LoRA needs roughly 2–3× the model size in GPU memory; QLoRA compresses the base model further. Full fine-tuning can need about 16× the model size.

Metode fine-tuning yang hanya melatih lapisan tambahan kecil, bukan seluruh model. LoRA butuh memori GPU sekitar 2–3× ukuran model; QLoRA memampatkan model dasarnya lebih jauh. Full fine-tuning bisa butuh sekitar 16× ukuran model.

See also:Lihat juga: Fine-tuning, Quantization

RAG (Retrieval-Augmented Generation)

The chatbot first searches your documents, then answers using what it found. Answers stay grounded in company data, and documents can be updated without retraining.

Chatbot mencari di dokumen Anda dulu, lalu menjawab berdasarkan hasil pencarian itu. Jawaban tetap berpijak pada data perusahaan, dan dokumen bisa diperbarui tanpa melatih ulang model.

See also:Lihat juga: Embedding, Vector database

Embedding

A list of numbers that represents the meaning of a text. Texts with similar meaning get similar numbers, which makes searching by meaning possible.

Deretan angka yang mewakili makna sebuah teks. Teks dengan makna mirip punya angka yang mirip, sehingga pencarian berdasarkan makna menjadi mungkin.

See also:Lihat juga: Vector database

Vector database

A database that stores embeddings and finds the closest ones quickly. In RAG it decides which document passages the model reads. It needs fast random reads, so it sits on NVMe.

Database yang menyimpan embedding dan mencari yang paling mirip dengan cepat. Di RAG, database ini menentukan potongan dokumen mana yang dibaca model. Butuh baca acak yang cepat, jadi ditempatkan di NVMe.

See also:Lihat juga: IOPS, NVMe SSD

Token

The unit an LLM reads and writes: a word or part of a word. In English one token is about three quarters of a word.

Satuan yang dibaca dan ditulis LLM: satu kata atau potongan kata. Dalam bahasa Inggris satu token kira-kira tiga perempat kata.

See also:Lihat juga: Context window, Tokens per second

Context window

The maximum amount of text the model can consider at once: instructions, conversation and any documents. 16K tokens is roughly 25 pages, 32K roughly 50. It is a limit, not what every request uses: a RAG question usually sends only a few relevant passages, often 4K–8K tokens in total. KV cache grows in step with the context actually used, so a 4× longer context needs about 4× the KV cache memory.

Batas maksimum teks yang bisa diperhatikan model sekaligus: instruksi, percakapan, dan dokumen. 16K token kira-kira 25 halaman, 32K kira-kira 50 halaman. Ini batas, bukan jumlah yang dipakai setiap permintaan: pertanyaan RAG biasanya hanya mengirim beberapa potongan dokumen yang relevan, sering total 4K–8K token. KV cache bertambah sebanding dengan konteks yang benar-benar dipakai, jadi konteks 4× lebih panjang butuh memori KV cache sekitar 4×.

See also:Lihat juga: KV cache, Token, RAG (Retrieval-Augmented Generation)

Tokens per second

How fast the answer appears for each user. Around 15 tokens/s or more feels faster than reading; below 10 feels slow.

Seberapa cepat jawaban muncul untuk setiap user. Sekitar 15 token/detik atau lebih terasa lebih cepat dari membaca; di bawah 10 terasa lambat.

See also:Lihat juga: Memory bandwidth

Concurrent users

Users sending questions at the same moment, not total users. 1,000 employees might mean only 50–100 active at peak.

User yang mengirim pertanyaan pada saat yang sama, bukan total user. 1.000 karyawan mungkin hanya 50–100 yang aktif bersamaan di jam sibuk.

See also:Lihat juga: KV cache

KV cache

Working memory the model keeps for each active conversation. It grows with context length and concurrent users, and often needs as much GPU memory as the model itself.

Memori kerja yang disimpan model untuk setiap percakapan aktif. Ukurannya bertambah sesuai panjang konteks dan jumlah user bersamaan, dan sering butuh memori GPU sebesar model itu sendiri.

See also:Lihat juga: Context window, Concurrent users

Precision (FP16, FP8, FP4, INT8)

How many bits each number in the model uses. FP16 uses 2 bytes per parameter, FP8 1 byte, FP4 half a byte. Lower precision saves memory and runs faster, with some risk to answer quality.

Berapa bit yang dipakai setiap angka di dalam model. FP16 memakai 2 byte per parameter, FP8 1 byte, FP4 setengah byte. Presisi lebih rendah menghemat memori dan lebih cepat, dengan sedikit risiko pada kualitas jawaban.

See also:Lihat juga: Quantization

Quantization

Converting a model to a lower precision (for example FP16 to FP8 or INT4) so it fits in less memory.

Mengubah model ke presisi lebih rendah (misalnya FP16 ke FP8 atau INT4) agar muat di memori yang lebih kecil.

See also:Lihat juga: Precision (FP16, FP8, FP4, INT8)

VLM (Vision Language Model)

An LLM that can also read images. Used for document extraction: it reads a scanned invoice and returns structured data.

LLM yang juga bisa membaca gambar. Dipakai untuk ekstraksi dokumen: membaca invoice hasil scan lalu mengeluarkan data terstruktur.

See also:Lihat juga: OCR

OCR

Optical character recognition: turning scanned pages and photos into text.

Optical character recognition: mengubah halaman hasil scan dan foto menjadi teks.

See also:Lihat juga: VLM (Vision Language Model)

Speech-to-text

Converting audio into text, for meeting minutes or call center records.

Mengubah audio menjadi teks, untuk notulen rapat atau rekaman call center.

Computer vision / video analytics

AI that understands images and video: counting people, detecting safety violations or intrusions on CCTV.

AI yang memahami gambar dan video: menghitung orang, mendeteksi pelanggaran K3 atau penyusup di CCTV.

AI agent

An AI application that plans steps and uses tools (search, databases, other systems) to finish a task, not just answer a question.

Aplikasi AI yang merencanakan langkah dan memakai tools (pencarian, database, sistem lain) untuk menyelesaikan tugas, bukan sekadar menjawab pertanyaan.

See also:Lihat juga: RAG (Retrieval-Augmented Generation)

GPUGPU

19

GPU (accelerator)

A processor with thousands of small cores that runs AI math in parallel. In servers it is a PCIe card, also called an accelerator.

Prosesor dengan ribuan core kecil yang menjalankan perhitungan AI secara paralel. Di server bentuknya kartu PCIe, disebut juga akselerator.

See also:Lihat juga: GPU memory (VRAM), PCIe Gen4 / Gen5

GPU memory (VRAM)

Memory on the GPU card. The model and its KV cache must fit here, so it is usually the first limit in AI sizing. Examples from the datasheets: 24 GB (L4) up to 144 GB (MI350P).

Memori di kartu GPU. Model dan KV cache-nya harus muat di sini, sehingga biasanya inilah batas pertama dalam sizing AI. Contoh dari datasheet: 24 GB (L4) hingga 144 GB (MI350P).

See also:Lihat juga: HBM vs GDDR, KV cache

HBM vs GDDR

Two types of GPU memory. HBM sits stacked next to the GPU chip and is much faster (H200 NVL: 4.8 TB/s HBM3e). GDDR is cheaper and slower (RTX PRO 6000: 1.6 TB/s GDDR7).

Dua jenis memori GPU. HBM ditumpuk di samping chip GPU dan jauh lebih cepat (H200 NVL: 4,8 TB/s HBM3e). GDDR lebih murah dan lebih lambat (RTX PRO 6000: 1,6 TB/s GDDR7).

See also:Lihat juga: Memory bandwidth

Memory bandwidth

How fast the GPU reads its memory, in GB/s or TB/s. For LLM inference it largely decides tokens per second, because every generated token reads the whole model.

Seberapa cepat GPU membaca memorinya, dalam GB/s atau TB/s. Untuk inference LLM, inilah yang banyak menentukan token per detik, karena setiap token yang dihasilkan membaca seluruh model.

See also:Lihat juga: Tokens per second

TFLOPS / PFLOPS

Trillions (or thousands of trillions) of calculations per second. Vendors quote them at different precisions and sometimes with sparsity, so compare carefully.

Triliun (atau ribuan triliun) perhitungan per detik. Vendor mencantumkannya di presisi berbeda dan kadang dengan sparsity, jadi bandingkan dengan hati-hati.

See also:Lihat juga: Sparsity, Precision (FP16, FP8, FP4, INT8)

Sparsity

A technique that skips some zero values to double peak TFLOPS on paper. Figures quoted "with sparsity" are about twice the dense figure.

Teknik yang melewati sebagian nilai nol sehingga TFLOPS puncak di atas kertas menjadi dua kali. Angka "with sparsity" kira-kira dua kali angka dense.

See also:Lihat juga: TFLOPS / PFLOPS

Tensor Core

Specialised units inside NVIDIA GPUs for AI matrix math. Datasheet figures marked "TC" refer to them.

Unit khusus di dalam GPU NVIDIA untuk perhitungan matriks AI. Angka berlabel "TC" di datasheet merujuk ke unit ini.

MIG / GPU partitioning

Splitting one GPU into isolated smaller GPUs so several small workloads share it. Per the datasheets: H200 NVL up to 7, RTX PRO 6000 up to 4, RTX PRO 6000D up to 2, MI350P up to 4 GPU instances.

Membagi satu GPU menjadi beberapa GPU kecil yang terisolasi agar beberapa beban kerja kecil bisa berbagi. Menurut datasheet: H200 NVL hingga 7, RTX PRO 6000 hingga 4, RTX PRO 6000D hingga 2, MI350P hingga 4 GPU instance.

PCIe Gen4 / Gen5

The slot that connects the GPU to the server. Gen5 has twice the bandwidth of Gen4. Newer GPUs in the datasheets use Gen5.

Slot yang menghubungkan GPU ke server. Gen5 punya bandwidth dua kali Gen4. GPU yang lebih baru di datasheet memakai Gen5.

Tensor parallelism

Splitting one large model across several GPUs in the same server so it fits and runs faster. The sizer uses 1, 2, 4 or 8 GPUs per model copy.

Membagi satu model besar ke beberapa GPU dalam satu server agar muat dan lebih cepat. Sizer memakai 1, 2, 4, atau 8 GPU per salinan model.

See also:Lihat juga: NVLink bridge

CUDA & ROCm

The software platforms for NVIDIA (CUDA) and AMD (ROCm) GPUs. Check that your AI software supports the platform before choosing a GPU vendor.

Platform software untuk GPU NVIDIA (CUDA) dan AMD (ROCm). Pastikan software AI Anda mendukung platform tersebut sebelum memilih vendor GPU.

NVIDIA AI Enterprise

NVIDIA's supported software suite for running AI in production. Per the datasheet, H200 NVL includes a five-year subscription.

Paket software NVIDIA dengan dukungan resmi untuk menjalankan AI di production. Menurut datasheet, H200 NVL sudah termasuk langganan lima tahun.

See also:Lihat juga: NIM

NIM

NVIDIA Inference Microservices: pre-packaged containers that serve AI models. Included in the HPE Private Cloud AI software stack.

NVIDIA Inference Microservices: container siap pakai untuk menjalankan model AI. Termasuk dalam stack software HPE Private Cloud AI.

See also:Lihat juga: NVIDIA AI Enterprise

Form factor (FHFL, HHHL, single/dual-slot)

The physical size of a GPU card. FHFL is full height, full length; HHHL is half height, half length (L4). Dual-slot (double-wide) cards take two slots and limit how many fit in a server.

Ukuran fisik kartu GPU. FHFL artinya full height, full length; HHHL artinya half height, half length (L4). Kartu dual-slot (double-wide) memakai dua slot dan membatasi berapa banyak yang muat di server.

Superchip (Grace Hopper, Grace Blackwell)

A CPU and GPU on one module, joined by NVLink-C2C instead of PCIe. In the HPE DL384 Gen12, each NVIDIA GH200 superchip combines 72 Arm cores and 480 GB LPDDR5X with a GPU with 144 GB HBM3e; the CPU memory is shared with the GPU as unified memory.

CPU dan GPU dalam satu modul, dihubungkan NVLink-C2C, bukan PCIe. Di HPE DL384 Gen12, setiap superchip NVIDIA GH200 menggabungkan 72 core Arm dan LPDDR5X 480 GB dengan GPU ber-HBM3e 144 GB; memori CPU dipakai bersama GPU sebagai unified memory.

See also:Lihat juga: GPU memory (VRAM), NVLink bridge

Rack-scale system (NVL72, NVL4)

A whole rack designed as one AI system. An NVL72 rack joins 72 Blackwell GPUs and 36 Grace CPUs into one NVLink domain, so very large models can run as if on one big GPU. It needs liquid cooling and about 132 kW per rack.

Satu rack utuh yang dirancang sebagai satu sistem AI. Rack NVL72 menyatukan 72 GPU Blackwell dan 36 CPU Grace dalam satu domain NVLink, sehingga model sangat besar bisa berjalan seolah di satu GPU besar. Butuh pendinginan cairan dan sekitar 132 kW per rack.

See also:Lihat juga: Direct liquid cooling & CDU, NVLink bridge

Direct liquid cooling & CDU

Cold plates on CPUs and GPUs carry heat away in liquid instead of air. A CDU (coolant distribution unit) exchanges that heat with the building's water loop. Required for rack-scale GPU systems; per the QuickSpecs one in-row CDU is rated for 1.3 MW.

Cold plate di CPU dan GPU membawa panas lewat cairan, bukan udara. CDU (coolant distribution unit) menukar panas itu dengan jalur air gedung. Wajib untuk sistem GPU skala rack; menurut QuickSpecs satu CDU in-row berkapasitas 1,3 MW.

See also:Lihat juga: Rack-scale system (NVL72, NVL4), Power per rack (kW)

Power (W, kW)

Electricity a component draws. Large data center GPUs in the datasheets draw up to 600 W each; four of them plus the server is about 3.2 kW, more than many server rooms plan per rack.

Daya listrik yang dipakai komponen. GPU data center besar di datasheet memakai hingga 600 W per kartu; empat kartu ditambah servernya sekitar 3,2 kW, lebih besar dari rencana banyak ruang server per rack.

See also:Lihat juga: Power per rack (kW)

Server & data centerServer & data center

10

CPU cores

The server processors feed data to the GPUs and run the application. The sizer uses about 16 cores plus 12 per GPU as a starting point.

Prosesor server menyuplai data ke GPU dan menjalankan aplikasi. Sizer memakai sekitar 16 core ditambah 12 per GPU sebagai titik awal.

System memory (RAM)

Server memory, separate from GPU memory. A common rule of thumb is at least twice the total GPU memory in the server.

Memori server, terpisah dari memori GPU. Rule of thumb yang umum: minimal dua kali total memori GPU di server tersebut.

See also:Lihat juga: GPU memory (VRAM)

GPU-optimized server

A server designed for many double-wide GPUs, with stronger power and cooling, for example HPE ProLiant DL380a.

Server yang dirancang untuk banyak GPU double-wide, dengan daya dan pendinginan lebih kuat, misalnya HPE ProLiant DL380a.

See also:Lihat juga: Form factor (FHFL, HHHL, single/dual-slot)

Rack unit (U)

The height unit in a server rack: 1U is 44.45 mm. A standard rack is 42U.

Satuan tinggi di rack server: 1U adalah 44,45 mm. Rack standar setinggi 42U.

Power per rack (kW)

How much electricity and cooling one rack can handle. AI servers concentrate power, so check this before buying.

Seberapa besar daya listrik dan pendinginan yang sanggup ditangani satu rack. Server AI memusatkan daya, jadi cek ini sebelum membeli.

See also:Lihat juga: Power (W, kW)

HA (high availability), N+1

Designing so service continues when one component fails. For AI, at least two active copies of every model run on different servers behind a load balancer. "Keep running" accepts lower capacity during a failure; N+1 adds one spare server so capacity stays at 100%. How HA works in AI infrastructure.

Desain agar layanan tetap jalan saat satu komponen gagal. Untuk AI, minimal dua salinan aktif setiap model berjalan di server berbeda di belakang load balancer. "Tetap jalan" menerima kapasitas lebih rendah saat gagal; N+1 menambah satu server cadangan agar kapasitas tetap 100%. Cara kerja HA di infrastruktur AI.

See also:Lihat juga: Control node & worker node

Air-gapped

A system with no connection to the internet at all, for the most sensitive data. HPE Private Cloud AI lists an air-gapped option for Medium and Large configurations.

Sistem yang sama sekali tidak terhubung ke internet, untuk data paling sensitif. HPE Private Cloud AI mencantumkan opsi air-gapped untuk konfigurasi Medium dan Large.

See also:Lihat juga: HPE Private Cloud AI

HPE Private Cloud AI

A turnkey on-premises AI platform co-developed by HPE and NVIDIA, for inference, RAG and fine-tuning. Sizes per the QuickSpecs: Developer System, Small, Medium and Large, with expansion racks up to 64 GPUs.

Platform AI on-premises siap pakai hasil pengembangan bersama HPE dan NVIDIA, untuk inference, RAG, dan fine-tuning. Ukuran menurut QuickSpecs: Developer System, Small, Medium, dan Large, dengan rack ekspansi hingga 64 GPU.

See also:Lihat juga: Control node & worker node, HPE GreenLake

Control node & worker node

In a cluster, control nodes manage the platform and worker nodes run the AI workloads on their GPUs.

Dalam cluster, control node mengelola platform dan worker node menjalankan beban kerja AI di GPU-nya.

HPE GreenLake

HPE's cloud platform for managing on-premises infrastructure, also used for pay-per-use or subscription purchasing.

Platform cloud HPE untuk mengelola infrastruktur on-premises, juga dipakai untuk pembelian berbasis pemakaian atau langganan.

Software platformPlatform software

9

AI factory

A term vendors such as NVIDIA, HPE and SUSE use for a complete platform that turns data into AI services: GPU servers, network, storage and software for development, fine-tuning and production inference.

Istilah yang dipakai vendor seperti NVIDIA, HPE, dan SUSE untuk platform lengkap yang mengubah data menjadi layanan AI: server GPU, jaringan, storage, dan software untuk development, fine-tuning, dan inference di production.

See also:Lihat juga: HPE Private Cloud AI, NVIDIA AI Enterprise, Kubernetes

Kubernetes

The standard platform for running containers across many servers. Most enterprise AI platforms run on it and use a GPU operator to share GPUs between applications.

Platform standar untuk menjalankan container di banyak server. Kebanyakan platform AI enterprise berjalan di atasnya dan memakai GPU operator untuk berbagi GPU antar aplikasi.

See also:Lihat juga: Red Hat OpenShift AI, SUSE AI / SUSE AI Factory

Red Hat OpenShift AI

Red Hat's AI platform on top of OpenShift (Kubernetes) for developing and serving models at scale. Per Red Hat's subscription guide it follows OpenShift units (core-pairs or bare-metal nodes) plus one AI Accelerator subscription per physical GPU.

Platform AI Red Hat di atas OpenShift (Kubernetes) untuk mengembangkan dan menjalankan model dalam skala besar. Menurut subscription guide Red Hat, lisensinya mengikuti unit OpenShift (core-pair atau node bare-metal) ditambah satu langganan AI Accelerator per GPU fisik.

See also:Lihat juga: Red Hat Enterprise Linux AI, Kubernetes

Red Hat Enterprise Linux AI

Red Hat's platform for running large language models on individual servers, licensed per physical accelerator according to Red Hat's subscription guide.

Platform Red Hat untuk menjalankan large language model di server tunggal, dengan lisensi per akselerator fisik menurut subscription guide Red Hat.

See also:Lihat juga: Red Hat OpenShift AI

SUSE AI / SUSE AI Factory

SUSE's AI platform running on Rancher Prime (Kubernetes). SUSE documents a SUSE AI Factory with NVIDIA, and AMD states support for AMD Instinct GPUs.

Platform AI SUSE yang berjalan di atas Rancher Prime (Kubernetes). SUSE mendokumentasikan SUSE AI Factory with NVIDIA, dan AMD menyatakan dukungan untuk GPU AMD Instinct.

See also:Lihat juga: Kubernetes

MLOps

The practices and tools that take a model from experiment to reliable production: versioning, deployment, monitoring, retraining and access control. MLOps platforms let IT run AI the way it runs other applications.

Praktik dan tools yang membawa model dari eksperimen ke production yang andal: versioning, deployment, monitoring, retraining, dan kontrol akses. Platform MLOps membuat IT bisa mengelola AI seperti aplikasi lain.

See also:Lihat juga: HPE Machine Learning Inference Software (MLIS), HPE Machine Learning Development Environment (MLDE)

HPE Machine Learning Inference Software (MLIS)

HPE software to deploy, scale and monitor models on any Kubernetes, with NVIDIA NIM integration. Per its QuickSpecs it is licensed with one base license per OS instance plus performance licenses per GPU (for example L40S 4, H200 10).

Software HPE untuk deploy, scaling, dan monitoring model di Kubernetes apa pun, dengan integrasi NVIDIA NIM. Menurut QuickSpecs-nya, lisensinya satu base license per instance OS ditambah performance license per GPU (misalnya L40S 4, H200 10).

See also:Lihat juga: MLOps, NIM

HPE Machine Learning Development Environment (MLDE)

HPE software for model development, fine-tuning and distributed training, built on the open-source Determined platform. It runs on NVIDIA or AMD GPUs and is licensed per GPU.

Software HPE untuk pengembangan model, fine-tuning, dan training terdistribusi, dibangun dari platform open source Determined. Berjalan di GPU NVIDIA atau AMD dan berlisensi per GPU.

See also:Lihat juga: Fine-tuning, MLOps

AMD Enterprise AI Suite

AMD's open-source software stack for AI on AMD Instinct GPUs, built on ROCm and Kubernetes, without license fees according to AMD.

Stack software open source dari AMD untuk AI di GPU AMD Instinct, dibangun di atas ROCm dan Kubernetes, tanpa biaya lisensi menurut AMD.

See also:Lihat juga: CUDA & ROCm

Virtualization & HCIVirtualisasi & HCI

8

Overcommit ratio (vCPU:pCPU)

How many virtual CPUs are assigned per physical CPU core. Most VMs sit idle much of the time, so a hypervisor can safely give out more vCPUs than it has cores: 4:1 means 4 vCPUs per core. Busy or latency-sensitive VMs such as databases need a low ratio (1:1 to 2:1); light VMs such as virtual desktops or test servers tolerate higher ratios. There is no universal number: check CPU ready time or CPU steal on the running system. RAM is normally not overcommitted. The Proxmox-Ceph HCI Calculator uses this ratio to turn total vCPUs into physical cores.

Berapa vCPU (CPU virtual) yang diberikan per core CPU fisik. Kebanyakan VM sering menganggur, jadi hypervisor bisa membagikan vCPU lebih banyak dari jumlah core: 4:1 artinya 4 vCPU per core. VM sibuk atau sensitif latensi seperti database butuh rasio rendah (1:1 sampai 2:1); VM ringan seperti virtual desktop atau server uji tahan rasio lebih tinggi. Tidak ada angka universal: cek CPU ready time atau CPU steal di sistem yang berjalan. RAM biasanya tidak di-overcommit. Proxmox-Ceph HCI Calculator memakai rasio ini untuk mengubah total vCPU menjadi core fisik.

See also:Lihat juga: CPU cores, System memory (RAM)

Replica (Ceph replicated pool)

Ceph keeps full copies of every piece of data on different nodes. Replica 3, the Proxmox VE default, stores three copies, so usable capacity is about one third of raw. Copies sit on different nodes, so one node can fail without losing data.

Ceph menyimpan salinan utuh setiap data di node yang berbeda. Replika 3, default Proxmox VE, menyimpan tiga salinan, sehingga kapasitas usable sekitar sepertiga dari raw. Salinan berada di node berbeda, jadi satu node boleh mati tanpa kehilangan data.

See also:Lihat juga: size and min_size (Ceph), Erasure coding (k+m), Usable vs raw capacity

Erasure coding (k+m)

Data is split into k data chunks plus m parity chunks, each on a different node. It survives m failures and stores more: 4+2 gives 67% of raw as usable, against 33% for replica 3. The cost is more CPU work and higher write latency, so it suits backup, archive and media better than VM disks. It needs at least k+m nodes.

Data dibagi menjadi k potongan data ditambah m potongan paritas, masing-masing di node berbeda. Tahan terhadap m kegagalan dan lebih hemat: 4+2 memberi 67% raw sebagai usable, dibanding 33% untuk replika 3. Konsekuensinya beban CPU lebih besar dan latensi tulis lebih tinggi, jadi lebih cocok untuk backup, arsip, dan media daripada disk VM. Butuh minimal k+m node.

See also:Lihat juga: Replica (Ceph replicated pool), RAID 1, 5, 6, 10

OSD (Ceph Object Storage Daemon)

The Ceph service that manages one disk; one OSD per disk. Each OSD needs CPU and memory: Ceph defaults to 4 GiB per OSD and Proxmox VE recommends at least 8 GiB. Proxmox VE also recommends at least 12 OSDs spread evenly across the nodes.

Service Ceph yang mengelola satu disk; satu OSD per disk. Setiap OSD butuh CPU dan memori: default Ceph 4 GiB per OSD dan Proxmox VE menyarankan minimal 8 GiB. Proxmox VE juga menyarankan minimal 12 OSD yang tersebar merata di semua node.

See also:Lihat juga: Replica (Ceph replicated pool), NVMe SSD

size and min_size (Ceph)

size is the number of copies Ceph keeps; min_size is the minimum number of copies that must be available for a pool to keep accepting reads and writes. With replica 3 and min_size 2, I/O continues when one node is down and stops for the affected data when two copies are missing. Proxmox VE advises never to set min_size to 1, because that risks data loss.

size adalah jumlah salinan yang disimpan Ceph; min_size adalah jumlah salinan minimum yang harus tersedia agar pool tetap menerima baca dan tulis. Dengan replika 3 dan min_size 2, I/O tetap jalan saat satu node mati dan berhenti untuk data yang terdampak saat dua salinan hilang. Proxmox VE menyarankan jangan pernah memakai min_size 1 karena berisiko kehilangan data.

See also:Lihat juga: Replica (Ceph replicated pool), Quorum

Corosync (cluster network)

The service Proxmox VE nodes use to talk to each other: membership, heartbeat and configuration. It needs low latency rather than bandwidth, so it should have its own physically separate links, ideally two, and not share only the busy storage network.

Service yang dipakai node Proxmox VE untuk saling berkomunikasi: keanggotaan cluster, heartbeat, dan konfigurasi. Yang dibutuhkan latensi rendah, bukan bandwidth besar, jadi sebaiknya punya link fisik tersendiri, idealnya dua, dan tidak hanya berbagi jaringan storage yang sibuk.

See also:Lihat juga: Quorum, HA (high availability), N+1

Quorum

A majority of votes, more than half of the nodes, that a cluster needs before it changes anything. A 3-node cluster keeps quorum with one node down; a 2-node cluster needs an extra vote such as a QDevice. Without quorum, Proxmox VE makes its cluster configuration read-only and HA cannot restart VMs.

Mayoritas suara, lebih dari separuh node, yang dibutuhkan cluster sebelum mengubah apa pun. Cluster 3 node tetap punya quorum saat satu node mati; cluster 2 node butuh suara tambahan seperti QDevice. Tanpa quorum, Proxmox VE membuat konfigurasi cluster read-only dan HA tidak bisa menyalakan ulang VM.

See also:Lihat juga: Corosync (cluster network), HA (high availability), N+1

Live migration

Moving a running VM to another node without shutting it down. With shared storage such as Ceph or a SAN only the memory is copied, so it takes seconds to minutes. It is used for planned maintenance; it is not HA, which restarts VMs on another node after a failure with a short outage.

Memindahkan VM yang sedang berjalan ke node lain tanpa mematikannya. Dengan shared storage seperti Ceph atau SAN, hanya memori yang disalin, sehingga butuh hitungan detik sampai menit. Dipakai untuk maintenance terencana; ini bukan HA, yang menyalakan ulang VM di node lain setelah kegagalan dengan jeda singkat.

See also:Lihat juga: HA (high availability), N+1, Overcommit ratio (vCPU:pCPU)

StorageStorage

16

IOPS

Input/output operations per second: how many small reads or writes storage can handle. Matters for vector databases.

Input/output operations per second: berapa banyak operasi baca atau tulis kecil yang sanggup ditangani storage. Penting untuk vector database.

See also:Lihat juga: Vector database

Throughput (MB/s, GB/s)

How much data storage moves per second. Matters for loading models, training data and CCTV recording.

Berapa banyak data yang dipindahkan storage per detik. Penting untuk memuat model, data training, dan rekaman CCTV.

Latency

The delay for one storage operation. Lower is better; NVMe has the lowest latency of the media here.

Jeda untuk satu operasi storage. Makin rendah makin baik; NVMe punya latency terendah di antara media di sini.

NVMe SSD

The fastest SSD type, connected directly over PCIe. Best for model repositories and vector databases.

Jenis SSD tercepat, terhubung langsung lewat PCIe. Paling cocok untuk repositori model dan vector database.

See also:Lihat juga: PCIe Gen4 / Gen5

SAS / SATA SSD

SSDs on the older SAS or SATA interfaces. Slower than NVMe but cheaper; fine for the OS and smaller archives.

SSD dengan antarmuka SAS atau SATA yang lebih lama. Lebih lambat dari NVMe tapi lebih murah; cukup untuk OS dan arsip kecil.

NL-SAS HDD

High-capacity spinning disks. The lowest cost per TB, good for large sequential data such as CCTV recordings and archives.

Hard disk berkapasitas besar. Biaya per TB paling rendah, cocok untuk data sekuensial besar seperti rekaman CCTV dan arsip.

See also:Lihat juga: RAID 1, 5, 6, 10

RAID 1, 5, 6, 10

Combining disks for protection. RAID 1 mirrors two disks. RAID 5 survives one failed disk, RAID 6 survives two (preferred for large HDDs). RAID 10 mirrors and stripes for speed and protection.

Menggabungkan disk untuk proteksi. RAID 1 mencerminkan dua disk. RAID 5 tahan satu disk rusak, RAID 6 tahan dua disk rusak (disarankan untuk HDD besar). RAID 10 mencerminkan sekaligus membagi data untuk kecepatan dan proteksi.

RAIDZ1, RAIDZ2, RAIDZ3 (ZFS)

ZFS parity layouts that survive one, two or three failed disks per vdev. Unlike RAID 5/6, parity is written per block, so small blocks lose space to padding: a 16 KiB VM disk block on a 6-disk RAIDZ1 uses only about 67% of the space instead of 83%. Proxmox VE notes that a RAIDZ vdev has roughly the IOPS of one disk and recommends mirrors for VMs. RAID & ZFS Calculator.

Layout parity ZFS yang tahan satu, dua, atau tiga disk mati per vdev. Berbeda dengan RAID 5/6, parity ditulis per blok, sehingga blok kecil kehilangan ruang untuk padding: blok disk VM 16 KiB di RAIDZ1 6 disk hanya memakai sekitar 67% ruang, bukan 83%. Proxmox VE mencatat vdev RAIDZ punya IOPS kira-kira satu disk dan menyarankan mirror untuk VM. RAID & ZFS Calculator.

See also:Lihat juga: vdev (ZFS virtual device), recordsize and volblocksize (ZFS), RAID 1, 5, 6, 10

vdev (ZFS virtual device)

The building block of a ZFS pool: a single disk, a mirror or a RAIDZ group. The pool stripes data across all its vdevs, so more vdevs mean more IOPS. Losing a whole vdev loses the pool.

Blok penyusun pool ZFS: satu disk, satu mirror, atau satu grup RAIDZ. Pool menyebar data ke semua vdev-nya, jadi vdev lebih banyak berarti IOPS lebih besar. Kehilangan satu vdev utuh berarti kehilangan pool.

See also:Lihat juga: RAIDZ1, RAIDZ2, RAIDZ3 (ZFS), RAID 1, 5, 6, 10

ashift

The smallest block ZFS writes to a disk, as a power of two: ashift 12 means 4 KiB sectors, which suits most modern disks. It is set when the pool is created and cannot be changed later; Proxmox VE warns that ashift 9 (512 bytes) can perform badly.

Blok terkecil yang ditulis ZFS ke disk, sebagai pangkat dua: ashift 12 berarti sektor 4 KiB, cocok untuk kebanyakan disk modern. Ditentukan saat pool dibuat dan tidak bisa diubah; Proxmox VE mengingatkan ashift 9 (512 byte) bisa berperforma buruk.

See also:Lihat juga: RAIDZ1, RAIDZ2, RAIDZ3 (ZFS), recordsize and volblocksize (ZFS)

recordsize and volblocksize (ZFS)

The block size ZFS uses: recordsize for files (default 128 KiB) and volblocksize for VM disks and other volumes (default 16 KiB since OpenZFS 2.2). Larger blocks waste less space on RAIDZ; smaller blocks suit random database I/O.

Ukuran blok yang dipakai ZFS: recordsize untuk file (default 128 KiB) dan volblocksize untuk disk VM dan volume lain (default 16 KiB sejak OpenZFS 2.2). Blok lebih besar lebih hemat ruang di RAIDZ; blok lebih kecil cocok untuk I/O acak database.

See also:Lihat juga: RAIDZ1, RAIDZ2, RAIDZ3 (ZFS), ashift

Hot spare

An installed, unused disk that the RAID controller or ZFS uses automatically when another disk fails, so the rebuild starts at once instead of waiting for someone to swap the disk.

Disk terpasang yang belum dipakai, yang otomatis digunakan RAID controller atau ZFS saat disk lain mati, sehingga rebuild langsung dimulai tanpa menunggu orang mengganti disk.

See also:Lihat juga: Rebuild and resilver, RAID 1, 5, 6, 10

Write penalty

How many disk operations one write causes. Rule of thumb: 2 for RAID 1/10, 4 for RAID 5 and 6 for RAID 6, because parity must be read and rewritten. It is why RAID 5/6 suit reads and large files better than busy databases.

Berapa operasi disk yang ditimbulkan satu penulisan. Rule of thumb: 2 untuk RAID 1/10, 4 untuk RAID 5, dan 6 untuk RAID 6, karena parity harus dibaca dan ditulis ulang. Itulah sebabnya RAID 5/6 lebih cocok untuk baca dan file besar daripada database yang sibuk.

See also:Lihat juga: RAID 1, 5, 6, 10, IOPS

Rebuild and resilver

Recreating the data of a failed disk onto a new one. Hardware RAID copies the whole disk; ZFS (resilver) copies only the data in use. Until it finishes, the array has less protection, so long rebuilds on large disks favour double parity.

Membangun ulang data disk yang mati ke disk baru. RAID hardware menyalin seluruh disk; ZFS (resilver) hanya menyalin data yang terpakai. Sampai selesai, proteksi array berkurang, jadi rebuild panjang di disk besar lebih aman dengan dua parity.

See also:Lihat juga: Hot spare, RAIDZ1, RAIDZ2, RAIDZ3 (ZFS)

Usable vs raw capacity

Raw is the total of all disks; usable is what remains after RAID protection. The sizer shows usable capacity.

Raw adalah total semua disk; usable adalah yang tersisa setelah proteksi RAID. Sizer menampilkan kapasitas usable.

See also:Lihat juga: RAID 1, 5, 6, 10

File & object storage

File storage shares folders; object storage keeps data as objects accessed over an API, common for data lakes and AI datasets.

File storage berbagi folder; object storage menyimpan data sebagai objek yang diakses lewat API, umum untuk data lake dan dataset AI.

Still unsure which hardware fits?Masih ragu hardware mana yang cocok?

Try a tool, then ping me with the result.Coba salah satu tool, lalu kirimkan hasilnya ke saya.

AI Hardware Sizer Proxmox-Ceph HCI WhatsApp