Nếu bạn đã, đang và sẽ xây dựng sản phẩm ứng dụng AI thì ít nhiều bạn đã nghe tới kỹ thuật prompt (prompt engineering) – kỹ thuật viết câu lệnh cho AI. Trong suốt một khoảng thời gian, prompt engineering nổi như cồn bởi tác động và sự linh hoạt của nó trong việc điều khiển, hướng dẫn AI đưa ra kết quả mong muốn cho người đặt yêu cầu. Tuy nhiên, với sự giới hạn của cửa sổ ngữ cảnh (context window) của các mô hình ngôn ngữ lớn LLM hiện tại, thì AI vẫn dễ dàng mắc phải các sai lầm khi đưa ra phản hồi: hoặc là trả lời sai vấn đề mặc dù hiểu đúng nhưng tư liệu để cung cấp thêm ngữ cảnh quá hạn chế, mô hình RAG (Retrieval-Augmented Generation) hạn chế; hoặc là trả lời trớt quớt vì AI không đủ hiểu ngữ cảnh;… Để giải quyết vấn đề nhức nhối đó, các nhà phát triển đã đưa ra mô hình agentic AI, và đồng hành cùng nó chính là context engineering.

Hãy cùng Lemon’s Tribe học và tìm hiểu về context engineering trong bài viết này nhé. (Bật mí, Lemon’s Tribe sẽ dành một số các bài viết khác cho agentic AI, do đây là chủ đề mà theo mình là phức tạp, nhức đầu, nhưng thú vị. Chờ nhé, bạn ơi).

Context Engineering là gì?

Như đã nói ở trên, context window của LLM models hiện tại có giới hạn nhất định. Vì vậy làm thế nào để đưa đủ ngữ cảnh cho LLM model hiểu và tạo ra được phản hồi đúng phụ thuộc nhiều vào việc chọn đúng thông tin cần và đủ đưa vào context window cho LLM model. Đấy chính là công việc của context engineering. Hay nói cách khác, context engineering là nghệ thuật và khoa học thiết kế, xây dựng, tổ chức và duy trì thông tin (tokens) đúng, cần và đủ để đưa vào context window, hỗ trợ cho LLM model thực thiện bước tiếp theo.^{1 2}

Các loại context thường được sử dụng để đưa vào context window cho LLM model bao gồm: hướng dẫn (instructions, prompts, bộ nhớ, ví dụ minh hoạt – few shots,…), kiến thức (lấy từ cơ sở kiến thức dành cho LLM model), các công cụ (để lấy dữ liệu cụ thể cho yêu cầu). Khi bạn thực hiện context engineering, có nghĩa là bạn sẽ thiết kế và “chỉ đạo” cho AI cách để chọn lọc và lưu giữ các context nói trên trong “bộ nhớ tạm” của LLM model, phục vụ cho việc xử lý và thực hiện bước tiếp theo. Với cách thức hoạt động như vậy, có thể nói context engineering chính là bước tiến hoá tự nhiên và tất yếu của prompt engineering.³

Context Engineering vs. Prompt Engineering

Vậy context engineering khác gì so với prompt engineering?

Nói đơn giản, prompt engineering giống như việc bạn viết một câu hỏi hoặc mệnh lệnh hay cho AI, còn context engineering giống như bạn chuẩn bị cả “bối cảnh” lẫn “đạo cụ” cho AI trước khi nó trả lời. Prompt engineering là tác vụ tập trung vào việc viết prompt cho AI model, còn context engineering sẽ sử dụng output của prompt engineering cùng với các “công cụ” khác để đưa vào context window. Andrej Karpathy – một chuyên gia hàng đầu về AI – đã ví von rằng LLM giống như CPU, còn context window (cửa sổ ngữ cảnh) của nó giống như bộ nhớ RAM: context engineering chính là nghệ thuật và khoa học tinh tế của việc nạp vào RAM đó những thông tin vừa đủ và phù hợp cho bước suy luận kế tiếp. Trong khi prompt engineering là một nhiệm vụ rời rạc (bạn viết xong một prompt cụ thể), thì context engineering là một quy trình lặp đi lặp lại – tại mỗi vòng tương tác.⁴

Tại sao Context Engineering quan trọng cho Agentic AI?

Agentic AI (AI tác nhân tự chủ) đề cập đến các hệ thống AI có khả năng tự đưa ra quyết định, gọi công cụ và tương tác nhiều lượt nhằm hoàn thành mục tiêu. Trong những hệ thống như vậy, context engineering trở nên đặc biệt thiết yếu.

Dưới đây là một số lý do cụ thể khiến context engineering quan trọng trong xây dựng agentic AI:⁶

• Giới hạn về dung lượng cửa sổ ngữ cảnh: Cũng giống như con người, khả năng ghi nhớ của AI agents cũng có giới hạn nhất định. Khi số lượng token được đưa vào context window của AI agents càng lúc càng lớn thì khả năng truy xuất chính xác thông tin cần đã được đưa vào trước đó sẽ trở nên hạn chế hơn nhiều. Dân chúng hay gọi vui đó là “ngáo”, hay dân dùng AI thì gọi là “context rot”. Đây chính là lúc mà context engineering cần phải ra tay. Kỹ thuật context engineering được dùng để chọn lọc những thông tin tinh túy nhất cho nhiệm vụ, tránh làm loãng sự tập trung của mô hình.
• Nhiều tác nhân và công cụ cùng hoạt động trong mô hình agentic AI đòi hỏi sự chia sẻ ngữ cảnh giữa các agents: Trong một hệ thống đa tác nhân, mỗi tác nhân AI thường đảm nhiệm một phần việc và cần trao đổi kết quả cho nhau. Muốn các tác nhân hiểu nhau và hợp tác hiệu quả, ta phải có chiến lược quản lý ngữ cảnh chung – ví dụ truyền thông tin trạng thái, kết quả công việc giữa các vòng lặp một cách có tổ chức. Tương tự, khi AI gọi các công cụ (tra cứu dữ liệu, tính toán, tìm kiếm…), kết quả trả về từ công cụ cũng phải được đưa vào context phù hợp cho lượt suy luận kế tiếp. Mỗi lần AI gọi công cụ hay nhận đầu vào mới, ngữ cảnh hoạt động sẽ thay đổi. Context engineering đảm bảo việc cập nhật ngữ cảnh liên tục và nhất quán trong suốt vòng đời tác vụ nhiều bước.
• Đảm bảo tính chính xác và đáng tin cậy: Trong các lĩnh vực đòi hỏi tính chính xác cao hoặc tuân thủ quy định (ví dụ tài chính, y tế, pháp lý), cung cấp đầy đủ ngữ cảnh giúp AI hoạt động đúng giới hạn và có kiểm soát. Một chuyên gia đã nhấn mạnh rằng “context engineering thực tế là công việc số một của kỹ sư khi xây dựng agentic AI” – bởi vì nếu không làm tốt khâu này, sản phẩm AI khó mà đáng tin cậy được. Thay vì coi AI như một “hộp đen” chỉ nhận prompt và cho ra kết quả không kiểm soát, context engineering giúp chúng ta xây dựng “rào chắn” xung quanh AI, giới hạn để nó chạy đúng hướng. Điều này đặc biệt quan trọng để tránh những lỗi như AI trả lời sai chính sách công ty, vi phạm quy định, hoặc tạo thông tin bịa đặt.

Để hình dung rõ hơn, hãy xem một ví dụ thực tế trong lĩnh vực bảo hiểm. Một công ty triển khai agentic AI hỗ trợ thẩm định hợp đồng bảo hiểm (insurance underwriting) đã nhận ra rằng chỉ prompt hay chưa đủ để ứng dụng vào thực tế. Họ áp dụng context engineering và kết quả tạo ra sự khác biệt rõ rệt giữa một demo AI “cho vui” và hệ thống AI thực sự hoạt động đáng tin cậy. Cụ thể, nhóm đã thiết kế các bộ khung ngữ cảnh riêng cho từng loại tài liệu bảo hiểm mà AI cần xử lý. Với mỗi hãng bảo hiểm khác nhau, chuyên gia nghiệp vụ (SME) sẽ cùng cấu hình một schema mẫu và định dạng đầu ra mong muốn cho tài liệu của hãng đó. Điều này giúp AI hiểu dữ liệu nào là quan trọng, nằm ở đâu trong tài liệu, và cần trích xuất theo cấu trúc nào. Đồng thời, họ còn xây dựng các mẫu template tùy chỉnh cho từng công ty bảo hiểm, phản ánh đúng các quy tắc, trường thông tin và tiêu chí rủi ro đặc thù của công ty đó. Tất cả những yếu tố này được cung cấp làm ngữ cảnh cho AI trước và trong khi xử lý hồ sơ, đảm bảo rằng AI luôn ra quyết định dựa trên đúng quy trình nghiệp vụ và tiêu chuẩn của mỗi doanh nghiệp. Kết quả là hệ thống AI thẩm định hoạt động ổn định, chính xác hơn hẳn so với khi chỉ dùng một mô hình với vài câu lệnh chung chung. Bạn có thể xem chi tiết hơn về case study này tại link: https://www.multimodal.dev/customer-stories/insurance-underwriting-ai .

Các bước và nguyên tắc cốt lõi trong quá trình Context Engineering

Ba trục chính của context engineering

Để tìm hiểu về các bước trong context engineering, trước tiên, hãy cùng đi qua ba trục chính cấu thành nên context engineering.⁷

Trục	Kỹ thuật	Đầu ra
Kiến thức vận hành (Operationalized knowledge)	Domain knowledge (kiến thức chuyên ngành) config, builders, templates	AI biết được chuyên ngành của bạn
Hạ tầng ngữ cảnh (context infrastructure)	Multi-agents orchestration, vector DB, audit logs	Ngữ cảnh đồng bộ giữa các agents
Chiến lược triển khai (deployment strategy)	VPC (virtual private cloud) deployment, feedback loops, progress tracker	Ngữ cảnh được phát triển liên tục

Các bước và nguyên tắc cốt lõi của context engineering

1. Xác định yêu cầu và ngữ cảnh cần thiết: Trước tiên, hãy làm rõ bài toán hoặc nhiệm vụ mà AI cần thực hiện. Bạn cần phân tích: Mục tiêu cuối cùng là gì? Đầu ra mong đợi ra sao? Người dùng hoặc tác nhân khác liên quan là ai? Những quy tắc nào cần tuân thủ? Việc hiểu rõ yêu cầu thô này giống như việc xác định đề bài cho AI. Từ đó, bắt đầu liệt kê những thông tin nào AI sẽ cần biết để hoàn thành nhiệm vụ. Đây là bước “thiết kế context” – nơi ta đặt ra các câu hỏi đúng: AI cần kiến thức nền tảng nào? Dữ liệu cụ thể nào? Công cụ nào có thể hỗ trợ?. Kết quả của bước này là một hình dung ban đầu về phạm vi ngữ cảnh cần chuẩn bị.
2. Thiết kế và cấu trúc ngữ cảnh: Tiếp theo, tổ chức tất cả thông tin thu thập được thành một cấu trúc logic và rõ ràng. Cũng như lên dàn ý cho một bài thuyết trình, mỗi phần ngữ cảnh cần có vị trí và mục đích rõ ràng. Một phương pháp hữu ích là chia ngữ cảnh thành các phần cố định. Chẳng hạn, bạn có thể tách bạch các đoạn: thông tin nền (background information), hướng dẫn nhiệm vụ (instructions), mô tả công cụ khả dụng (tool guidance), yêu cầu định dạng đầu ra (output format), v.v. Sử dụng format markdown, hay XML, hoặc chuẩn openAPI (đối với tài liệu mô tả về API cần gọi) để phân tách các phần này một cách tường minh. Việc phân chia giúp mô hình dễ “tiêu hóa” ngữ cảnh hơn, tránh lẫn lộn giữa hướng dẫn và dữ liệu. Đồng thời, ưu tiên tính rõ ràng và đơn giản: viết hướng dẫn bằng ngôn ngữ cụ thể, trực quan.
3. Đảm bảo tính đầy đủ nhưng cô đọng: Một nguyên tắc cốt lõi của context engineering là cung cấp vừa đủ thông tin cần thiết – “đủ dùng” nhưng không dư thừa. Điều này nghe đơn giản nhưng thực hiện rất tinh tế: bạn phải tuyển chọn tập hợp những token có độ cô đọng thông tin tối ưu để đạt được mục tiêu đề ra. Một mẹo hữu ích là bắt đầu với một ngữ cảnh tối thiểu, thử nghiệm với mô hình tốt nhất bạn có, rồi từ từ bổ sung thông tin hoặc ví dụ khi thấy mô hình còn mắc lỗi. Luôn tự hỏi: thông tin này đưa vào có giúp mô hình làm tốt hơn nhiệm vụ không? Nếu không chắc, có lẽ nó không thực sự cần thiết. Bằng cách lược giản hợp lý, bạn giữ cho ngữ cảnh “chặt” và “sạch”, giảm nguy cơ làm loãng sự chú ý của AI. Bên cạnh đó, bạn không nên cứng nhắc nhồi nhét hàng loạt luật lệ phức tạp (khiến cho việc triển khai rối rắm, kéo dài và AI bị cứng nhắc), nhưng cũng đừng quá chung chung mơ hồ (khiến mô hình thiếu tín hiệu để hành động). Hãy hướng tới “điểm vàng” ở giữa – ngữ cảnh đủ cụ thể để định hướng AI, nhưng vẫn linh hoạt để AI có đất suy luận.
4. Tận dụng công cụ và dữ liệu động một cách thông minh: Trong nhiều trường hợp, không thể (hoặc không nên) nhồi tất cả kiến thức vào prompt ngay từ đầu. Thay vào đó, hãy áp dụng nguyên tắc “just-in-time context” – cung cấp thông tin khi cần, thông qua việc gọi công cụ hoặc truy xuất dữ liệu trong quá trình tác vụ. Ví dụ, thay vì đưa toàn bộ tài liệu tham khảo dài hàng nghìn trang vào prompt (vừa vượt quá giới hạn token, vừa lãng phí), bạn có thể sử dụng kỹ thuật RAG: cho AI một cơ chế tìm kiếm hoặc truy vấn cơ sở tri thức khi cần thiết. Nhiều ứng dụng AI hiện nay dùng mô hình embedding + vector store để lưu trữ kiến thức, cho phép AI tìm và lựa chọn đoạn thông tin liên quan nhất chèn vào ngữ cảnh trước khi trả lời. Khi xây dựng agentic AI, chúng ta còn có thể cung cấp cho AI công cụ như trình tìm kiếm web, cơ sở dữ liệu, hoặc thậm chí một bộ code thực thi – để AI tự chủ động lấy thông tin bên ngoài khi cần, thay vì dựa hoàn toàn vào trí nhớ bên trong. Điều quan trọng là mỗi công cụ cần được giới thiệu rõ ràng cho AI (dưới dạng một phần ngữ cảnh: mô tả công cụ, cách sử dụng), và kết quả trả về từ công cụ cũng phải được thêm vào ngữ cảnh cho bước xử lý tiếp theo. Bằng cách này, ngữ cảnh trở thành một không gian làm việc động, mở rộng theo nhu cầu: AI không nhớ mọi thứ cùng lúc, nhưng biết cách lấy đúng thông tin, vào đúng thời điểm.
5. Quản lý dung lượng ngữ cảnh: tóm tắt và tinh giản: Khi tác vụ diễn ra qua nhiều vòng tương tác, lượng thông tin tích lũy sẽ ngày càng lớn. Nếu không có biện pháp, context window sẽ sớm đầy kín và mô hình có thể “quá tải”. Do đó, một nguyên tắc quan trọng là liên tục tóm lược và cắt tỉa ngữ cảnh. Bạn có thể cho AI tự tóm tắt nội dung các bước trước đó để rút gọn lại những điểm chính rồi đưa bản tóm tắt vào ngữ cảnh thay cho chi tiết gốc. Chẳng hạn, trợ lý lập trình Claude có chức năng “auto-compact” – khi cuộc trò chuyện vượt quá 95% dung lượng context, nó tự động tạo bản tóm tắt các tương tác trước để giải phóng không gian. Tương tự, ta có thể chèn bước tóm tắt sau một công cụ trả về kết quả dài, hoặc giữa các giai đoạn tác vụ, nhằm nén thông tin trước khi tiếp tục. Bên cạnh tóm tắt bằng mô hình, một kỹ thuật khác là trimming – cắt bỏ những phần không còn cần thiết. Ví dụ, ta có thể loại bỏ các tin nhắn cũ kém liên quan trong lịch sử hội thoại, hoặc áp dụng quy tắc như chỉ giữ lại N bước tương tác gần nhất. Drew Breunig, một nhà nghiên cứu trong lĩnh vực này, gọi đây là cách “tỉa bớt ngữ cảnh” để giảm nhiễu. Dù tóm tắt hay trimming, mục tiêu đều là giữ cho ngữ cảnh gọn gàng, vừa vặn với giới hạn token, mà vẫn bảo toàn được những thông tin cốt lõi nhất.
6. Phân tách ngữ cảnh (nếu cần) thông qua kiến trúc đa tác nhân (agentic AI): Một chiến lược cao cấp hơn, khi đối mặt với những nhiệm vụ rất phức tạp, là chia nhỏ bài toán cho nhiều tác nhân AI phối hợp, thay vì dồn mọi thứ vào một tác nhân toàn năng. Cách làm này cũng chính là để phân tách ngữ cảnh cho từng phần việc, giúp mỗi mô hình chỉ tập trung vào một miếng ghép nhỏ với ngữ cảnh gọn gàng hơn. Ví dụ, OpenAI từng giới thiệu thư viện “Swarm” cho phép một đội tác nhân (agents) cùng làm việc, mỗi agent có tập công cụ và ngữ cảnh riêng để giải quyết một khía cạnh của vấn đề. Anthropic cũng nhận thấy rằng việc tách một agent lớn thành nhiều sub-agent với ngữ cảnh chuyên biệt có thể vượt trội hơn phương án dùng một agent đơn lẻ – bởi mỗi “sub-agent” có thể dùng toàn bộ context window của mình cho một nhiệm vụ nhỏ, tăng độ tập trung. Tất nhiên, chiến lược này đi kèm thách thức: tổng số token tiêu tốn có thể tăng lên nhiều lần, và chúng ta phải thiết kế cách các tác nhân trao đổi thông tin hiệu quả. Dù vậy, trong một số trường hợp phức tạp, đây là giải pháp đáng cân nhắc để đảm bảo không agent nào bị quá tải ngữ cảnh.
7. Kiểm thử, đánh giá và tinh chỉnh liên tục: Context engineering không phải là bước làm một lần rồi xong; đó là một vòng lặp liên tục. Sau khi bạn thiết kế context và để AI tạo ra kết quả, cần so sánh kết quả đó với mong đợi (tiêu chí thành công bạn đặt ra ban đầu). Nếu kết quả chưa đạt, đừng vội nản – hãy coi đó như tín hiệu để cải thiện ngữ cảnh. Hãy phân tích: thông tin nào còn thiếu? Chỗ nào hướng dẫn chưa rõ? Có phần nào thừa gây nhiễu? Việc hiệu chỉnh ngữ cảnh cũng giống như gỡ lỗi (debug) một chương trình, hãy làm một cách có phương pháp và có mục tiêu. Bạn có thể thêm một vài ví dụ mẫu nếu AI hiểu sai yêu cầu, hoặc bổ sung quy tắc nếu thấy AI vượt giới hạn, hay thậm chí thử bỏ bớt chi tiết nếu nghi ngờ mô hình bị quá tải thông tin. Mỗi vòng tinh chỉnh nên được kiểm thử lại với các tình huống thực tế. Qua vài vòng lặp, bạn sẽ dần đạt được “công thức ngữ cảnh” tối ưu cho bài toán của mình, giúp AI phản hồi ổn định và chính xác một cách dự đoán được.

Nhìn chung, nguyên tắc nền tảng ở đây là tư duy lấy ngữ cảnh làm trung tâm trong thiết kế hệ thống AI. Mỗi khi AI đưa ra kết quả chưa tốt, hãy tự hỏi: Có phải nó thiếu thông tin gì? Có hiểu lầm hướng dẫn không? Có bị nhiễu bởi chi tiết dư thừa? Câu trả lời sẽ gợi ý bạn nên điều chỉnh ngữ cảnh ra sao. Với cách tiếp cận đúng đắn, context engineering sẽ giúp cuộc đối thoại giữa bạn và AI trở nên “có tiếng nói chung” – cả hai hiểu nhau, giảm hẳn những pha “ông nói gà, bà nói vịt”.⁸

Tạm kết

Tóm lại, nếu như prompt engineering là nghệ thuật “nói gì để AI hiểu”, thì context engineering là nghệ thuật “cho AI biết những gì cần thiết” trước khi nó suy nghĩ và hành động. Đối với người làm sản phẩm AI, biết và hiểu context engineering đồng nghĩa với việc bạn có thể khai thác tối đa sức mạnh của mô hình, xây dựng nên những AI agent thông minh, đáng tin cậy và hữu ích thực sự, đồng thời kiểm soát được những gì đang diễn ra bên trong AI. Hãy coi context engineering như một người bạn đồng hành – cùng bạn thiết kế sản phẩm ứng dụng AI có trải nghiệm hoàn thiện hơn.

---

Nguồn tham khảo

1. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents#:~:text=Prompt%20engineering%20refers,of%20the%20prompts. ↩︎
2. https://blog.langchain.com/context-engineering-for-agents/#:~:text=%5BContext%20engineering%20is%20the%5D%20%E2%80%9D%E2%80%A6delicate%20art%20and%20science%20of%20filling%20the%20context%20window%20with%20just%20the%20right%20information%20for%20the%20next%20step.%E2%80%9D ↩︎
3. https://www.anthropic.com/engineering/effective-context-engineering-for-ai-agents#:~:text=At%20Anthropic%2C%20we%20view%20context%20engineering%20as%20the%20natural%20progression%20of%20prompt%20engineering. ↩︎
4. https://blog.langchain.com/context-engineering-for-agents/#:~:text=As%20Andrej%20Karpathy,a%20similar%20role. ↩︎
5. https://www.anthropic.com/_next/image?url=https%3A%2F%2Fwww-cdn.anthropic.com%2Fimages%2F4zrzovbb%2Fwebsite%2Ffaa261102e46c7f090a2402a49000ffae18c5dd6-2292×1290.png&w=3840&q=75 ↩︎
6. https://www.multimodal.dev/post/context-engineering ↩︎
7. https://www.multimodal.dev/post/context-engineering ↩︎
8. https://blog.langchain.com/context-engineering-for-agents/ ↩︎