Privatemode kombiniert den Datenschutz einer On-Premise-Lösung mit der Skalierbarkeit und Flexibilität der Cloud.
Privatemode ist der erste KI-API-Dienst, der echte Ende-zu-Ende-Datensicherheit mit hardwarebasiertem Confidential Computing bietet. Führen Sie einfach den Privatemode Encryption Proxy aus, der eine OpenAI-kompatible API bereitstellt und gleichzeitig Ihre Daten automatisch verschlüsselt.
Ihre Daten bleiben jederzeit verschlüsselt – nur die KI kann sie in ihrer sicheren, geschützten Umgebung verarbeiten.
docker run -p 8080:8080 \
ghcr.io/edgelesssys/privatemode/privatemode-proxy:latest \
--apiKey <your-api-token>Der Proxy überprüft die Integrität des Privatemode-Dienstes mittels hardwarebasierter Remote Attestation. Der Proxy verschlüsselt alle gesendeten Daten und entschlüsselt empfangene Daten.
curl localhost:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",
"messages": [
{
"role": "system",
"content": "Hello Privatemode!"
}
]
}'import requests
import json
def run_continuum(url, port, prompt):
endpoint = f"http://{url}:{port}/v1/chat/completions"
payload = {
"model": "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",
"messages": [{"role": "system", "content": prompt}],
}
response = requests.post(endpoint, headers={"Content-Type": "application/json"}, json=payload)
response.raise_for_status() # Raise an error for bad responses
return response.json()
if __name__ == "__main__":
try:
response = run_continuum("localhost", 8080, "Hello Privatemode")
print(response['choices'][0]['message']['content'])
except Exception as e:
print(f"Error: {e}")import fetch from "node-fetch";
async function runPrivatemode(url, port, prompt) {
const endpoint = `http://${url}:${port}/v1/chat/completions`;
const payload = {
model: "ibnzterrell/Meta-Llama-3.3-70B-Instruct-AWQ-INT4",
messages: [{ role: "system", content: prompt }],
};
try {
const response = await fetch(endpoint, {
method: "POST",
headers: { "Content-Type": "application/json" },
body: JSON.stringify(payload),
});
if (!response.ok) {
throw new Error(`Error ${response.status}: ${response.statusText}`);
}
return await response.json();
} catch (error) {
throw new Error(`Request failed: ${error.message}`);
}
}
// Example usage
(async () => {
try {
const response = await runPrivatemode("localhost", 8080, "Hello Privatemode");
console.log(response.choices[0].message.content);
} catch (error) {
console.log(`Error: ${error.message}`);
}
})();
Der Proxy ist kompatible mit der OpenAI Chat API.
Sie haben jetzt programmatischen Zugriff auf eine Ende-zu-Ende-gesicherte KI.
Verarbeiten Sie Ihre eigenen sensiblen Daten oder bieten Sie vertrauenswürdige KI-Services für andere an – die Möglichkeiten sind endlos.
Privatemode setzt hardwarebasierte Laufzeitverschlüsselung und Remote Attestation mit AMD SEV-SNP und Nvidia H100 Confidential Computing um.
Nutzen Sie Llama 3.3 70B (quantisiert) oder bald verfügbare Alternativen wie DeepSeek R1.
Verarbeiten Sie über 1.000 Token pro Sekunde bei niedriger Latenz.
Wechseln Sie mühelos von OpenAI zur kompatiblen Inferenz-API von Privatemode.
Überwachen Sie die Token-Nutzung in Echtzeit und zahlen Sie nur, was Sie nutzen.
Mit Privatemode erhalten Sie eine dynamisch skalierbare API, die die gleiche Vertraulichkeit wie eine On-Premise-Lösung bietet – ohne Infrastrukturkosten und Komplexität.
Privatemode ist eine schlüsselfertige technische Lösung für interne und externe Diskussionen rund um Datenschutz, Datensicherheit und Compliance in Verbindung mit KI.
Mit Privatemode können Sie sich auf den Aufbau Ihres Produkts konzentrieren, anstatt eigene KI-Hosting-Kapazitäten aufzubauen.
Mit Privatemode können Sie sogar sensible Daten sicher mit KI verarbeiten.
