Dostęp do API
Przewodnik Użytkowania API MedGemma i MedSigLIP
Zacznij z modelami medycznej AI Google poprzez kompleksowy dostęp do API. Aplikuj o klucze API i integruj zaawansowane możliwości medycznej AI w swoich aplikacjach.
Aplikuj o Dostęp do API
Zacznij z API MedGemma i MedSigLIP
API MedGemma
Zaawansowane modele medycznej AI tekstowej i multimodalnej
Uzyskaj dostęp do potężnych możliwości MedGemma dla analizy tekstu medycznego, rozumienia obrazów i wsparcia decyzji klinicznych.
Kluczowe Funkcje
- ✓Generowanie i analiza tekstu medycznego
- ✓Multimodalne przetwarzanie obrazów i tekstu medycznego
- ✓Odpowiadanie na pytania kliniczne
- ✓Generowanie raportów medycznych
- ✓Możliwości dostrajania
Dostępne Modele
MedGemma 4B Multimodalny
Lekki model do zadań obrazów i tekstu medycznego
4B parametrówMedGemma 27B Tylko Tekst
Duży model językowy wyspecjalizowany w tekście medycznym
27B parametrówMedGemma 27B Multimodalny
Zaawansowany model multimodalny do złożonych zadań medycznych
27B parametrówAPI MedSigLIP
Medyczny enkoder obraz-tekst do klasyfikacji i wyszukiwania
Wykorzystaj wydajną architekturę podwójnej wieży MedSigLIP do klasyfikacji obrazów medycznych, wnioskowania zero-shot i wyszukiwania semantycznego.
Kluczowe Funkcje
- ✓Klasyfikacja obrazów medycznych zero-shot
- ✓Semantyczne wyszukiwanie obrazów
- ✓Embeddingi obrazów medycznych
- ✓Efektywna klasyfikacja danych
- ✓Wyszukiwanie podobieństwa cross-modalnego
Specyfikacje Modelu
Opcje Wdrożenia
Wybierz najlepszą metodę wdrożenia dla swoich potrzeb
Wdrożenie Lokalne
Uruchom modele lokalnie używając transformerów Hugging Face
Pros:
- +Pełna kontrola
- +Brak limitów API
- +Prywatność danych
Cons:
- -Wymaga zasobów GPU
- -Złożoność konfiguracji
Wdrożenie Vertex AI
Wdróż jako endpointy REST API na Google Cloud
Pros:
- +Skalowalne
- +Zarządzana infrastruktura
- +Gotowe do produkcji
Cons:
- -Koszty użytkowania
- -Zależność od chmury
Przetwarzanie Wsadowe
Przetwarzaj duże zbiory danych z zadaniami wsadowymi Vertex AI
Pros:
- +Opłacalne
- +Przetwarzanie na dużą skalę
Cons:
- -Nie w czasie rzeczywistym
- -Planowanie wsadowe
Code Examples
Get started with implementation examples
MedGemma Implementation
Local Deployment
from transformers import pipeline
# Load MedGemma model
pipe = pipeline(
"text-generation",
model="google/medgemma-27b-text-it",
torch_dtype="bfloat16",
device="cuda"
)
# Generate medical text
response = pipe(
"What are the symptoms of diabetes?",
max_length=200,
temperature=0.7
)
print(response[0]['generated_text'])Vertex AI REST API
import requests
import json
# Vertex AI endpoint
endpoint_url = "https://your-endpoint.googleapis.com/v1/projects/your-project/locations/us-central1/endpoints/your-endpoint:predict"
# Request payload
payload = {
"instances": [{
"prompt": "What are the symptoms of diabetes?",
"max_tokens": 200,
"temperature": 0.7
}]
}
# Make API request
headers = {
"Authorization": "Bearer YOUR_ACCESS_TOKEN",
"Content-Type": "application/json"
}
response = requests.post(endpoint_url, json=payload, headers=headers)
result = response.json()
print(result['predictions'][0]['generated_text'])MedSigLIP Implementation
Local Deployment
from transformers import AutoModel, AutoProcessor
import torch
from PIL import Image
# Load MedSigLIP model
model = AutoModel.from_pretrained("google/medsiglip")
processor = AutoProcessor.from_pretrained("google/medsiglip")
# Load and process image
image = Image.open("medical_image.jpg")
text = "chest x-ray showing pneumonia"
# Process inputs
inputs = processor(
text=[text],
images=[image],
return_tensors="pt",
padding=True
)
# Get embeddings
with torch.no_grad():
outputs = model(**inputs)
image_embeds = outputs.image_embeds
text_embeds = outputs.text_embeds
# Calculate similarity
similarity = torch.cosine_similarity(image_embeds, text_embeds)
print(f"Similarity score: {similarity.item():.4f}")Zero-shot Classification
import torch
from transformers import AutoModel, AutoProcessor
from PIL import Image
# Load model and processor
model = AutoModel.from_pretrained("google/medsiglip")
processor = AutoProcessor.from_pretrained("google/medsiglip")
# Define classification labels
labels = [
"normal chest x-ray",
"pneumonia chest x-ray",
"covid-19 chest x-ray",
"lung cancer chest x-ray"
]
# Load image
image = Image.open("chest_xray.jpg")
# Process inputs
inputs = processor(
text=labels,
images=[image] * len(labels),
return_tensors="pt",
padding=True
)
# Get predictions
with torch.no_grad():
outputs = model(**inputs)
logits = outputs.logits_per_image
probs = torch.softmax(logits, dim=-1)
# Get top prediction
top_idx = torch.argmax(probs, dim=-1)
confidence = probs[0, top_idx].item()
print(f"Prediction: {labels[top_idx]}")
print(f"Confidence: {confidence:.4f}")Oficjalne Zasoby
Kompletna dokumentacja i przykłady