Bài viết này mô tả các bước phát triển ứng dụng kết nối với LLM (Mô hình ngôn ngữ quy mô lớn) trên PC
LLM được sử dụng là mô hình Granite được điều chỉnh bằng InstructLab và được xây dựng bằng Podman Desktop
Ứng dụng được phát triển bằng Quarkus và tận dụng Podman AI Lab để kết nối với Granite
Đầu tiên, hãy cài đặt tiện ích mở rộng AI trên Podman Desktop, tải xuống mô hình Granite và khởi chạy nó sau khi cài đặt
Bạn có thể truy cập mô hình bằng cURL hoặc Quarkus và thực sự đặt câu hỏi cũng như nhận phản hồi từ AI
Tích hợp với ứng dụng Quarkus giới thiệu mã để tạo màn hình bằng Qute và xử lý phản hồi từ mô hình
Cuối cùng, khởi động ứng dụng và kiểm tra hoạt động của ứng dụng