Vietnamese Professional - CCNP - Enterprise Core LabPro https://www.forum.vnpro.org/ vi Sun, 07 Jun 2026 09:48:17 GMT vBulletin 60 images/misc/rss.png Vietnamese Professional - CCNP - Enterprise Core LabPro https://www.forum.vnpro.org/ AI Prompt https://www.forum.vnpro.org/forum/cclabpro/ccnp-enterprise-core-labpro/440604-ai-prompt Fri, 22 May 2026 11:55:20 GMT Một ngày trong đời của một Prompt: Điều gì xảy ra khi bạn hỏi ChatGPT? Khi bạn gõ một câu hỏi như: “What is the answer to the ultimate... Một ngày trong đời của một Prompt: Điều gì xảy ra khi bạn hỏi ChatGPT?


Khi bạn gõ một câu hỏi như:
“What is the answer to the ultimate question of life, the universe and everything?”

trông có vẻ đơn giản. Nhưng phía sau là cả một pipeline tính toán rất nặng. 1. Prompt → Tokenize


Máy không hiểu chữ như con người.

Câu hỏi của bạn trước tiên phải được chia nhỏ thành token.

Ví dụ:
  • "What"
  • " is"
  • " the"
  • " answer"
  • ...

Token không hẳn là từ. Có thể là một phần của từ, dấu câu, hoặc ký tự đặc biệt.

Ví dụ:
Artificial → Art + ificial
Networking → Network + ing

LLM chỉ làm việc với token, không trực tiếp với ngôn ngữ tự nhiên.
2. Prefill — Giai đoạn đắt đỏ nhất lúc ban đầu


Sau khi token hóa, toàn bộ prompt được đưa vào model.

Đây gọi là Prefill.

Model sẽ:
  • đọc toàn bộ prompt
  • tính attention giữa các token
  • xây dựng context understanding
  • tạo ra KV Cache

Hãy hình dung giống như:

Bạn đưa cho AI một email dài 10 trang.

AI phải đọc hết trước khi trả lời.

Đây chính là lý do:

prompt càng dài → phản hồi đầu tiên càng chậm

Trong slide có dòng:
Longer prompts = longer prefill = larger KV Cache = longer TTFT

TTFT = Time To First Token

Tức là thời gian từ lúc bạn bấm Enter đến khi thấy ký tự đầu tiên xuất hiện.
3. Model Weights — Bộ não cố định


Phần "Model Weights" là tri thức đã học.

Ví dụ:
  • GPT learned internet text
  • coding patterns
  • reasoning structures
  • language grammar

Weights không đổi trong lúc inference.

Inference KHÔNG phải training.

Training = cập nhật weights
Inference = chỉ dùng weights để suy luận
4. KV Cache — Bí quyết tăng tốc


Đây là phần cực kỳ quan trọng khi tối ưu hạ tầng AI.

KV Cache = Key/Value Cache

Nó lưu attention state của các token trước đó.

Nếu không có cache:

Model phải đọc lại toàn bộ hội thoại mỗi lần sinh 1 token mới.

Điều đó cực kỳ tốn GPU.

Ví dụ:

Nếu response dài 500 token:

Không cache:
  • đọc lại prompt 500 lần

Có cache:
  • chỉ tính phần mới

=> tốc độ tăng mạnh.
5. Decoding Loop — AI bắt đầu "nói"


Sau prefill xong, model bắt đầu sinh token từng cái một.

Đây là autoregressive generation.

Chu trình:
  • dự đoán token tiếp theo
  • append vào context
  • update KV cache
  • dự đoán token kế tiếp

Ví dụ:
"The"
"The answer"
"The answer is"
"The answer is 42"

Model không sinh cả câu cùng lúc.

Nó sinh từng bước.

Giống như predictive text nhưng ở quy mô khổng lồ.
6. De-tokenize


Token được chuyển ngược thành văn bản con người đọc được.

Ví dụ:
[1543][892][11]

thành:
42
Tại sao inference lại tốn GPU?


Có người nghĩ:
“Training mới tốn tiền, inference chắc nhẹ?”

Không hẳn.

Inference production-scale cực kỳ đắt.

Vì: Prompt dài


Mỗi user gửi context lớn.

Ví dụ:
  • RAG
  • system prompt
  • chat history
  • tool outputs

10K–100K tokens không hiếm.
KV Cache ngốn VRAM


Model 70B:

KV cache có thể chiếm hàng chục GB.

Nếu nhiều concurrent users:

VRAM pressure tăng rất mạnh.
Decoding là tuần tự


Training có thể parallel hóa.

Decoding thì:

Token sau phụ thuộc token trước. Không thể sinh toàn bộ các trả lời (response) một lần. Đây là nút thắt cổ chai bottleneck lớn.
Góc nhìn AI Infrastructure


Nếu bạn làm AI infra, đây là lý do các kỹ thuật sau rất quan trọng:
  • KV cache optimization
  • prefix caching
  • speculative decoding
  • tensor parallelism
  • pipeline parallelism
  • quantization
  • batching
  • paged attention

Framework phổ biến:
  • vLLM
  • TensorRT-LLM
  • SGLang
  • TGI
  • LMDeploy
Insight thực tế


Mỗi user request thực chất tạo ra:
  • prefill riêng
  • KV cache riêng
  • decoding loop riêng

Tức là mỗi người dùng giống như "chiếm" một phần GPU. Đây là lý do serving LLM ở quy mô lớn khó hơn nhiều người tưởng. Một prompt tưởng đơn giản thực ra đi qua pipeline:

Prompt → Tokenize → Prefill → KV Cache → Decoding → De-tokenize

Mục tiêu của AI infrastructure team luôn là giảm memory, tăng throughput, giảm latency, tối ưu cost


​]]> CCNP - Enterprise Core LabPro dangquangminh https://www.forum.vnpro.org/forum/cclabpro/ccnp-enterprise-core-labpro/440604-ai-prompt Khắc phục sự cố của Switch L3 https://www.forum.vnpro.org/forum/cclabpro/ccnp-enterprise-core-labpro/440078-khắc-phục-sự-cố-của-switch-l3 Sat, 09 May 2026 22:41:21 GMT Khắc phục sự cố Switched Virtual Interface (SVI) Trên router, mỗi interface sẽ được gán một địa chỉ IP để xác định subnet mà interface đó thuộc... Khắc phục sự cố Switched Virtual Interface (SVI)

Trên router, mỗi interface sẽ được gán một địa chỉ IP để xác định subnet mà interface đó thuộc về. Ngoài ra, địa chỉ IP này thường đóng vai trò default gateway cho các host nằm trong subnet kết nối với interface đó.

Tuy nhiên, nếu bạn sử dụng switch Layer 3 với nhiều cổng (access hoặc trunk) cùng thuộc về một VLAN, như minh họa trong tài liệu, thì câu hỏi đặt ra là: địa chỉ IP sẽ được cấu hình ở đâu?

Do các cổng switch Layer 2 không thể gán trực tiếp địa chỉ IP, bạn cần tạo một interface logic Layer 3 gọi là Switched Virtual Interface (SVI).

SVI có thể được gán địa chỉ IP giống như interface trên router. Tuy nhiên có một điểm khác biệt quan trọng:
  • Trên router: một địa chỉ IP gắn với một interface vật lý.
  • Trên switch Layer 3: một SVI đại diện cho toàn bộ các switchport thuộc cùng VLAN đó.

Điều này có nghĩa:
  • Thiết bị nằm trong VLAN 100 sẽ sử dụng SVI VLAN 100 làm default gateway.
  • Thiết bị nằm trong VLAN 200 sẽ sử dụng SVI VLAN 200 làm default gateway.
Tổng quan về SVI


Ví dụ:
  • SVI VLAN 100: 192.168.1.1/24
  • SVI VLAN 200: 192.168.2.1/24

Như vậy:

Các host trong VLAN 100 phải:
  • Có IP thuộc mạng 192.168.1.0/24
  • Default gateway là 192.168.1.1

Ví dụ:
PC1
IP: 192.168.1.10
Mask: 255.255.255.0
Gateway: 192.168.1.1

Các host trong VLAN 200 phải:
  • Có IP thuộc mạng 192.168.2.0/24
  • Default gateway là 192.168.2.1

Ví dụ:
PC2
IP: 192.168.2.20
Mask: 255.255.255.0
Gateway: 192.168.2.1
Cấu hình SVI trên switch Layer 3


Để tạo SVI:
interface vlan 100
ip address 192.168.1.1 255.255.255.0

Nếu SVI chưa tồn tại, lệnh này sẽ tự động tạo.

Ví dụ cấu hình đầy đủ:
SW1# show run
!
ip routing
!
interface GigabitEthernet0/7
switchport access vlan 100
switchport mode access
!
interface GigabitEthernet0/8
switchport access vlan 100
switchport mode access
!
interface GigabitEthernet0/9
switchport access vlan 200
switchport mode access
!
interface GigabitEthernet0/10
switchport access vlan 200
switchport mode access
!
interface Vlan100
ip address 192.168.1.1 255.255.255.0
!
interface Vlan200
ip address 192.168.2.1 255.255.255.0
Điểm cực kỳ quan trọng: bật IP Routing


Switch Layer 3 không tự động định tuyến IPv4 giữa các VLAN.

Muốn inter-VLAN routing hoạt động, phải bật:
ip routing

Nếu quên lệnh này:
  • VLAN 100 ping được gateway VLAN 100
  • VLAN 200 ping được gateway VLAN 200
  • Nhưng VLAN 100 sẽ không thể giao tiếp với VLAN 200

Đây là lỗi rất phổ biến khi lab.
Kiểm tra trạng thái SVI


SVI muốn hoạt động phải ở trạng thái:
up/up

Kiểm tra nhanh: 1. show ip interface brief

SW1# show ip interface brief

Ví dụ:
Interface IP-Address Status Protocol
Vlan1 unassigned administratively down down
Vlan100 192.168.1.1 up up
Vlan200 192.168.2.1 up up

Ý nghĩa:
  • Status up → interface đang hoạt động
  • Protocol up → line protocol hoạt động bình thường
2. show interfaces vlan

show interfaces vlan 100

Ví dụ:
Vlan100 is up, line protocol is up
Hardware is EtherSVI
address is 000d.2829.0200
Internet address is 192.168.1.1/24

Thông tin hữu ích:
  • MAC address của SVI
  • IP address
  • MTU
  • trạng thái interface

MAC này rất quan trọng.

Khi host muốn gửi traffic đến default gateway:
192.168.1.1

host sẽ gửi ARP request:
Who has 192.168.1.1?

SVI sẽ trả lời bằng MAC:
000d.2829.0200

Host sau đó đóng gói frame Ethernet với destination MAC này.
3. show ip interface

show ip interface vlan 100

Ví dụ:
Vlan100 is up, line protocol is up
Internet address is 192.168.1.1/24

Lệnh này giúp xem:
  • ACL inbound/outbound
  • helper-address
  • directed broadcast
  • trạng thái interface
Điều kiện để SVI hoạt động (up/up)


Muốn SVI lên được, cần đủ các điều kiện sau: 1. VLAN phải tồn tại trên switch


Ví dụ:

Nếu tạo:
interface vlan 100

nhưng VLAN 100 chưa tồn tại:
show vlan brief

không thấy VLAN 100

→ SVI sẽ không hoạt động.
2. SVI không bị shutdown


Kiểm tra:
show run interface vlan 100

Nếu thấy:
shutdown

thì phải bật lại:
interface vlan 100
no shutdown
3. Phải có ít nhất một switchport active thuộc VLAN đó


Điều kiện này nhiều người hay quên.

Ví dụ:

Bạn tạo:
interface vlan 100

nhưng không có port nào thuộc VLAN 100 đang hoạt động.

Hoặc cable bị rút.

Hoặc NIC của host down.

Kết quả:
Vlan100 down/down
4. Port phải ở trạng thái STP forwarding


Nếu port đang bị Spanning Tree block:
blocking

thì SVI cũng không lên.

Kiểm tra:
show spanning-tree vlan 100

Nếu tất cả port VLAN 100 đều blocked:

SVI sẽ down.
Tổng kết nhanh


Muốn SVI hoạt động:

✔ VLAN tồn tại
✔ Interface không shutdown
✔ Có ít nhất 1 port up/up trong VLAN
✔ Port đang forwarding trong STP
✔ Nếu cần routing giữa VLAN → bật ip routing

SVI là nền tảng cốt lõi của inter-VLAN routing trên switch Layer 3, và nắm chắc phần này là bắt buộc cho CCNA, CCNP, thậm chí cả troubleshooting ở cấp CCIE.
​]]> CCNP - Enterprise Core LabPro dangquangminh https://www.forum.vnpro.org/forum/cclabpro/ccnp-enterprise-core-labpro/440078-khắc-phục-sự-cố-của-switch-l3