Hướng dẫn bắt đầu sử dụng Gemini Embedding 2

Việc xây dựng hệ thống tìm kiếm và truy xuất trước đây thường có nghĩa là chuyển đổi mọi thứ thành văn bản hoặc kết hợp mô hình thị giác và trình mã hóa văn bản được huấn luyện riêng biệt. Mặc dù điều này hữu ích cho nhiều trường hợp sử dụng, nhưng chúng ta dễ dàng bỏ sót những mối liên hệ sâu sắc hơn giữa văn bản và hình ảnh.

Bài viết này sẽ hướng dẫn bạn về Gemini Embedding 2 và cách nó loại bỏ sự khó khăn đó. Bạn sẽ tìm hiểu nó là gì, tại sao nó quan trọng và cách bắt đầu sử dụng nó trong các dự án thực tế.

Gemini Embedding 2 là gì?

Gemini Embedding 2 là mô hình nhúng mới nhất của Google được thiết kế cho mã hóa đa phương thức. API Python của Google genai cho phép các nhà phát triển sử dụng mô hình gemini-embedding-2-preview.

Ở mức độ cao, các mô hình nhúng chuyển đổi dữ liệu thành những vectơ số nắm bắt ý nghĩa. Trong lịch sử, các mô hình này tập trung vào văn bản. Gemini Embedding 2 mở rộng phạm vi đó để các nhà phát triển có thể làm việc với nhiều loại dữ liệu bằng một mô hình duy nhất.

Giá trị cốt lõi rất đơn giản: Giờ đây chúng ta có thể lập chỉ mục, so sánh và tìm kiếm trên nhiều định dạng media khác nhau mà không cần xây dựng các quy trình riêng biệt cho từng định dạng.

Những tính năng chính của Gemini Embedding 2

Hãy cùng tìm hiểu một số tính năng làm nên sự đặc biệt của Gemini Embedding 2:

• Ngữ cảnh văn bản lớn: Hỗ trợ tối đa 8.192 token, đủ cho các tài liệu dài hoặc hồ sơ chi tiết.
• Hỗ trợ âm thanh và video gốc: Xử lý tối đa 2 phút video hoặc âm thanh mà không cần phiên âm.
• Đầu vào xen kẽ: Chấp nhận kết hợp văn bản và media trong một yêu cầu duy nhất, tạo ra một embedding thống nhất.
• Hỗ trợ đa ngôn ngữ: Hoạt động trên hơn 100 ngôn ngữ, cho phép tìm kiếm đa ngôn ngữ mà không cần quy trình dịch thuật.

Những tính năng này giảm thiểu nhu cầu về các hệ thống tiền xử lý riêng biệt và đơn giản hóa kiến ​​trúc tổng thể.

Ưu điểm kỹ thuật của Gemini Embedding 2

Một trong những tính năng nổi bật của Gemini Embedding 2 là cách nó sử dụng Matryoshka Representation Learning (MRL). Khái niệm này khá thanh lịch: Embedding được cấu trúc sao cho thông tin quan trọng nhất được load trước vào vector.

Trong khi đầu ra vector đầy đủ có 3.072 chiều, MRL cho phép các nhà phát triển cắt gọn gàng xuống kích thước nhỏ hơn nhiều, chẳng hạn như 768 hoặc thậm chí 256 chiều. Bạn có được sự linh hoạt để lưu trữ các vector nhỏ hơn, điều này giúp giảm đáng kể chi phí và tăng tốc độ truy xuất, mà không ảnh hưởng quá nhiều đến độ chính xác.

Đây là một lợi ích rất lớn cho việc tối ưu hiệu suất vì bạn không cần phải huấn luyện lại mô hình hoặc đại tu toàn bộ quy trình của mình chỉ để tối ưu hóa việc lưu trữ.

Một không gian ngữ nghĩa chung trên nhiều phương thức

MRL rất tuyệt vời, nhưng cách mô hình này xử lý sự liên kết đa phương thức ở quy mô lớn mới thực sự thú vị. Về cơ bản, nó tạo ra một không gian ngữ nghĩa thống nhất trên tất cả các loại dữ liệu.

Thay vì xây dựng các kho riêng biệt cho những định dạng khác nhau, mô hình được huấn luyện để nhóm các khái niệm tương tự lại với nhau.

Một bản ghi âm giọng nói, một bức ảnh và một đoạn văn bản sẽ đều được ánh xạ đến cùng một vùng lân cận toán học nếu chúng truyền đạt cùng một ý tưởng chính xác.

Bạn không còn phải loay hoay với các mô hình dành riêng cho từng phương thức hoặc cố gắng ghép chúng lại với nhau ngay trước khi xuất ra, điều này giúp việc xếp hạng và tìm kiếm sự tương đồng sau đó trở nên mượt mà hơn rất nhiều.

Bỏ qua bước dịch thuật

Nếu bạn nhìn vào các quy trình truy xuất truyền thống, chúng thường dựa vào những phép biến đổi trung gian. Bạn phải phiên âm một file âm thanh hoặc tạo phụ đề cho một hình ảnh trước khi thực sự có thể tìm kiếm nó. Mỗi lần làm điều đó, bạn nén dữ liệu gốc và chắc chắn sẽ tạo thêm nhiễu.

Gemini Embedding 2 bỏ qua hoàn toàn điều này bằng cách nhúng trực tiếp âm thanh và video thô. Không có bước trung gian đó, hầu như không có mất mát thông tin nào.

Nếu bạn đang xây dựng tìm kiếm ngữ nghĩa cho các bản ghi âm cuộc gọi hoặc cố gắng phát hiện ý định của người dùng trong những đoạn video thô, bạn sẽ không bị tắc nghẽn bởi những gì mô hình phiên âm văn bản tình cờ thu được.

Nắm bắt ngữ cảnh với đầu vào hỗn hợp

Một lợi thế lớn khác xuất hiện khi bạn kết hợp các loại dữ liệu khác nhau, ví dụ: văn bản và hình ảnh, vào một lệnh nhúng duy nhất. Mô hình thực sự học được mối quan hệ giữa các đầu vào đó trong quá trình suy luận.

Ví dụ, hãy xem xét danh sách sản phẩm thương mại điện tử. Thay vì coi ảnh sản phẩm và mô tả bằng văn bản là những mẩu dữ liệu riêng lẻ, mô hình này kết hợp chúng thành một vectơ duy nhất, có ngữ cảnh cao.

Khi mô hình nhúng thực sự phản ánh toàn bộ bức tranh chứ không phải các phần rời rạc, chất lượng truy xuất sẽ tự nhiên được nâng cao.

Kiến trúc đơn giản hơn đáng kể

Từ góc độ cơ sở hạ tầng, sự đơn giản ở đây khó có thể đánh giá thấp. Việc dựa vào một mô hình nhúng duy nhất cho mọi loại dữ liệu hoàn toàn thay đổi cách bạn xây dựng các hệ thống này.

Thay vì duy trì một mạng lưới phức tạp các công cụ chuyên dụng, bạn chỉ cần một quy trình lập chỉ mục, một chỉ số đo độ tương đồng duy nhất và một lược đồ cơ sở dữ liệu vectơ duy nhất. Điều này loại bỏ rất nhiều chi phí vận hành và giúp việc mở rộng quy mô trở nên dễ dàng hơn nhiều.

Thêm vào đó, nếu bạn muốn thử nghiệm với một nguồn dữ liệu mới sau này, bạn không cần phải thay đổi kiến ​​trúc hiện có để làm cho nó hoạt động. Cuối cùng, bạn có thể tự do thiết kế các hệ thống truy xuất dựa trên ý nghĩa thực tế, thay vì liên tục phải vật lộn với những hạn chế của các loại dữ liệu.

Hướng dẫn bắt đầu sử dụng Gemini Embedding 2

Hãy cùng xem qua một ví dụ đơn giản về cách chúng ta có thể sử dụng Gemini Embedding 2 ngay cả trên máy tính cục bộ.

Thiết lập môi trường và API key

Bắt đầu bằng cách tạo API key thông qua Google AI Studio. Sau đó, cài đặt SDK Python mới nhất trong môi trường Python của bạn:

pip install -U google-genai

Sau khi thiết lập xong, hãy đặt API key của bạn làm biến môi trường có tên là GEMINI_API_KEY. Bạn có thể thực hiện việc này trong dự án bằng cách sử dụng file .env hoặc thông qua trình quản lý biến môi trường của hệ thống.

Tạo embedding đa phương thức đầu tiên

Đây là một ví dụ đơn giản tạo embedding từ cả văn bản và hình ảnh:

from google import genai
from google.genai import types

client = genai.Client()

with open(“sample.png”,”rb”) as f:
    image_bytes = f.read()

# Example of an interleaved input, this has both the text and the image as part of a single vector
# Create multiple of these for separate encoding vectors
response = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "A photo of a vintage typewriter",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/jpeg"
        )
    ]
)

print(response.embeddings)

Điều này tạo ra một vector duy nhất đại diện cho cả văn bản và hình ảnh cùng nhau.

Các phương pháp tốt nhất để chuyển đổi từ những mô hình cũ

Nếu bạn đang chuyển đổi từ các mô hình nhúng cũ hơn, hãy lưu ý một vài điều sau:

• Lập chỉ mục lại dữ liệu của bạn: Các vectơ hiện có không tương thích với mô hình mới.
• Đánh giá chất lượng truy xuất: Kiểm tra các truy vấn thực tế để xác nhận sự cải thiện cho trường hợp sử dụng của bạn.
• Bắt đầu với một tập dữ liệu con: Chuyển đổi một tập dữ liệu nhỏ hơn trước để xác thực hành vi lưu trữ và truy xuất.

Áp dụng phương pháp từng bước giúp giảm rủi ro và dễ dàng so sánh kết quả hơn.

Các trường hợp sử dụng thực tế cho không gian vectơ thống nhất

Bây giờ, chúng ta đã biết cách sử dụng Gemini Embedding 2, hãy cùng thảo luận về cách triển khai nó trong thực tế.

Nâng cao khả năng tạo nội dung được tăng cường bằng truy xuất (RAG)

Hầu hết các hệ thống RAG hiện nay dựa trên nhúng văn bản. Với Gemini Embedding 2, bạn có thể mở rộng điều này sang các hệ thống RAG đa phương thức dựa trên agent.

Ví dụ, một trợ lý hỗ trợ có thể truy xuất sơ đồ từ file PDF, dịch bản ghi âm hoặc thực hiện các hành động được mô tả trong một đoạn video ngắn thay vì chỉ phân tích văn bản và email. Điều này dẫn đến nhiều trường hợp sử dụng hơn bằng cách sử dụng một mô hình duy nhất thay vì nhiều mô hình và agent khác nhau.

Tối ưu hóa tìm kiếm và phân loại đa phương thức

Các tổ chức thường lưu trữ một lượng lớn dữ liệu phi cấu trúc, chẳng hạn như hình ảnh, bản ghi âm và tài liệu. Hầu hết chúng đều khó tìm kiếm hoặc hồ sơ được lưu trữ kém.

Với không gian nhúng được chia sẻ, bạn có thể truy vấn dữ liệu đó bằng ngôn ngữ tự nhiên. Một tìm kiếm như “bản phác thảo kiến ​​trúc hệ thống trên bảng trắng” có thể hiển thị các hình ảnh hoặc bản ghi cuộc họp liên quan mà không cần gắn thẻ thủ công.

Kết luận

Gemini Embedding 2 đơn giản hóa một vấn đề trước đây đòi hỏi nhiều hệ thống và kiến ​​trúc mô hình phức tạp. Bằng cách hỗ trợ văn bản, hình ảnh, âm thanh và video trong một mô hình duy nhất, nó giảm cả chi phí kỹ thuật và độ phức tạp vận hành.

Nếu bạn đang xây dựng hệ thống tìm kiếm, hệ thống đề xuất hoặc các quy trình RAG, thì đây là một giải pháp đáng để tìm hiểu. Lợi thế lớn nhất không chỉ là hiệu suất tốt hơn, mà còn là cuộc cách mạng nhỏ trong cách chúng ta phân tích thông tin cho các hệ thống của mình.