Proxmox-Server sichern
Proxmox VE sichert eine virtuelle Maschine nur dann inkrementell und dedupliziert, wenn das Backup an etwas geht, das das Proxmox-Backup-Protokoll spricht. Der Caryvane-Agent auf einem Proxmox-Knoten spricht es: Proxmox sieht einen Backup-Server auf dem Knoten selbst, und jeder Chunk, den es sendet, landet im gewählten Speicher – in genau der Struktur, die ein Proxmox Backup Server anlegt. Backups werden in der Proxmox-Weboberfläche geplant, ausgeführt, durchsucht und wiederhergestellt, wie mit einem Proxmox Backup Server; Caryvane steuert den Speicher, den Katalog, die Warnungen und einen Wiederherstellungsschlüssel bei.
Caryvane ist kein Proxmox-Produkt und enthält keinen Proxmox Backup Server. Es implementiert das Protokoll, mit dem Proxmox VE mit einem solchen Server spricht, sodass Proxmox den Agenten als Backup-Server behandelt. Proxmox und Proxmox Backup Server sind Marken der Proxmox Server Solutions GmbH.
1. Den Agenten auf jedem Knoten installieren #
Proxmox führt das Backup einer virtuellen Maschine auf dem Knoten aus, auf dem sie läuft, und spricht den Backup-Server unter 127.0.0.1 an. Deshalb braucht jeder Knoten des Clusters den Caryvane-Linux-Agenten, registriert für den Kunden, dem der Cluster gehört. Es ist der gewöhnliche Linux-Agent; einen separaten Proxmox-Agenten gibt es nicht. Auf einem Proxmox-Knoten erkennt er Proxmox selbstständig und meldet die Version – daran erkennt Caryvane, dass der Rechner Backups bereitstellen kann. Legen Sie den Cluster in Caryvane von einem beliebigen Knoten aus an. Sobald der Cluster einen Speicherbereich hat, tritt jeder weitere Knoten mit installiertem Agenten innerhalb weniger Minuten von selbst bei: Er weist nach, dass er zum selben Proxmox-Cluster gehört, und zwar mit dem Storage-Token, das Proxmox zwischen seinen Knoten teilt. Knoten hinzufügen auf der Seite des Clusters funktioniert weiterhin für einen Knoten, den Sie sofort dabeihaben wollen. Liegt eine gewählte Maschine auf einem Knoten ohne Agenten, weist der Job-Dialog darauf hin, und ihre Backups erscheinen als fehlgeschlagene Ausführungen mit dem Namen des Knotens statt als abgeschlossen.
- Erstellen Sie in Caryvane ein Registrierungstoken für den Kunden (Agenten → Agent registrieren) und folgen Sie auf jedem Knoten der Anleitung für Linux. Das Paket ist ein
.debfür Debian, worauf ein Proxmox-Knoten läuft. - Warten Sie, bis jeder Knoten online ist. Ein Knoten unter Proxmox zeigt auf seiner Agentenkarte seine Proxmox-Version; daran erkennt der Assistent, dass er den Datenspeicher hosten darf.
Jeder Knoten ist ein Agent und wird als ein Agent abgerechnet. Pro virtueller Maschine fällt keine Gebühr an.
2. Der Cluster, seine Speicherbereiche und was gesichert wird #
- Jobs → Neuer Job → Proxmox-Server sichern. Beim ersten Mal benennen Sie den Cluster und wählen seinen ersten Knoten. Die übrigen Knoten fügen Sie danach auf der Proxmox-Seite hinzu; sie brauchen sonst nichts, weil jeder Knoten dasselbe Zertifikat ausliefert.
- Gäste sichern: Haken Sie die VMs und Container an (die Liste kommt live aus dem Cluster), oder wählen Sie Alle Gäste, auch später erstellte oder Alle Gäste in einem Proxmox-Pool. Wählen Sie den Speicher und einen Ordner darin, wann gesichert wird (täglich, an bestimmten Tagen oder alle paar Stunden) und wie lange aufbewahrt wird: Ein Backup pro Tag für (Tage) und optional Und mindestens die letzten N.
Ein Beispiel: VM 146, 5 Tage aufbewahrt in Speicher M, Ordner proxmox/vm146, und VM 170, 30 Tage aufbewahrt in Speicher Y, sind zwei Jobs. Jede Kombination aus Speicher und Ordner wird in Proxmox zu einem eigenen Storage, caryvane-name, mit eigenem Verschlüsselungsschlüssel, den der Agent innerhalb weniger Minuten einrichtet. Dieselbe Maschine kann in zwei Jobs zu zwei Speicherbereichen stehen, etwa jede Nacht für einen Monat in Großbritannien und wöchentlich für ein Jahr auf günstigem Speicher.
Caryvane schreibt jeden Job als Proxmox-Backup-Job in den Cluster (Rechenzentrum → Backup, in der englischen Oberfläche Datacenter → Backup; im Kommentar mit caryvane-job markiert) und hält ihn synchron: Ändern Sie ihn in Caryvane, ändert sich der Proxmox-Job; löschen Sie ihn, verschwindet der Proxmox-Job. Proxmox übernimmt die Ausführung, sodass inkrementelle Backups, das Einfrieren über den Gast-Agenten und Live-Migration wie gewohnt funktionieren. Bearbeiten Sie diese Jobs nicht in Proxmox; Caryvane stellt sie wieder her. Backup-Jobs, die Sie selbst in Proxmox auf einen Caryvane-Storage anlegen, funktionieren weiterhin und erscheinen auf der Proxmox-Seite als in Proxmox erstellt.
Jetzt ausführen bei einem Job startet seine Backups sofort. Jedes Backup erscheint als Ausführung seines Jobs, mit der Größe, dem, was gesendet wurde, und dem, was bereits gespeichert war. Erreicht innerhalb des eingestellten Intervalls kein Backup einen Speicherbereich, wird er als überfällig markiert.
Für Anbieter: in den eigenen Speicher eines Kunden sichern #
Der Proxmox-Server eines Anbieters kann die virtuellen Maschinen eines Kunden in den Speicher des Kunden sichern, zum Beispiel in dessen eigenen Bucket in Großbritannien. Der Kunde muss das zuerst erlauben: bei seinem Speicherziel unter Speicher → … → Proxmox-Server meines Anbieters zulassen. Wählbar ist nur der Speicher von Kunden unterhalb des Anbieters, nie der eines anderen Anbieters oder eines gleichrangigen Kunden; der eigene Speicher des Anbieters braucht kein Häkchen.
- Der Job gehört dem Kunden: Er erscheint in dessen Jobliste mit seinen Ausführungen und seinem Status. Nur der Anbieter kann ihn ändern, ausführen oder löschen; der Kunde kann weder den Proxmox-Server erreichen noch die Maschinen anderer sichern.
- Jeder Kunde hat seinen eigenen Wiederherstellungsschlüssel, der nur die Backups in seinem Speicher lesen kann. Der Kunde kann ihn selbst herunterladen; der Anbieter ebenfalls, für Kunden unterhalb von ihm.
- Das Häkchen gibt den Proxmox-Servern des Anbieters Zugriff auf diesen Speicher. Wird es entfernt, endet der Zugriff innerhalb von fünf Minuten: Der Speicher wird nicht mehr bereitgestellt, und seine Backup-Jobs werden aus dem Cluster entfernt. Bereits erstellte Backups bleiben erhalten.
3. Der Verschlüsselungsschlüssel: jetzt sichern #
Der Storage wird mit einem Verschlüsselungsschlüssel angelegt, den Proxmox erzeugt und in /etc/pve/priv/storage/ ablegt. Jeder Chunk wird auf dem Knoten verschlüsselt, bevor er ihn verlässt; Caryvane und der Speicher sehen immer nur Chiffretext. Proxmox zeigt den Schlüssel einmal an und fordert Sie auf, ihn zu sichern: Tun Sie das – in einem Passwort-Manager oder als Ausdruck, aufbewahrt fern vom Cluster. Geht der Cluster verloren, ist auch der Schlüssel weg.
Es gibt einen zweiten Weg zurück. Der Storage-Eintrag enthält außerdem einen Caryvane-Master-Key, und Proxmox verschlüsselt in jedem Backup eine Kopie des Datenschlüssels damit. Caryvane bewahrt die private Hälfte verschlüsselt auf, und ein Manager kann sie auf der Job-Seite als Wiederherstellungsschlüssel herunterladen. Mit dem Wiederherstellungsschlüssel und den Proxmox-Werkzeugen ist jedes Backup wieder lesbar, selbst wenn Cluster und Schlüssel verloren sind. Laden Sie ihn einmal herunter und bewahren Sie ihn zusammen mit dem ersten Schlüssel auf; der Download wird im Audit-Protokoll festgehalten.
Führen Sie auf dem Caryvane-Storage nie pvesm set … --encryption-key autogen aus: Das ersetzt den Schlüssel stillschweigend, und alle früheren Backups brauchen dann den Wiederherstellungsschlüssel.
4. Was wie gesichert wird #
- Virtuelle Maschinen: jede Festplatte, die Konfiguration und die Firewall-Regeln, so wie Proxmox sie sendet. Proxmox liest in der ersten Nacht die ganze Festplatte und danach nur die geänderten Blöcke (seine Dirty Bitmap), und der Agent speichert jeden 4-MiB-Chunk nur einmal, egal wie viele Maschinen oder Nächte ihn teilen.
- Auf Ceph und anderem Raw-Storage liegt die Bitmap in der laufenden Maschine; nach einer Migration, einem Herunterfahren oder einem Neustart des Knotens liest Proxmox die ganze Festplatte erneut, sendet aber nur Chunks, die der Speicher noch nicht hat. Die Ausführung weist Gelesenes, Gesendetes und Wiederverwendetes getrennt aus, sodass ein Cluster, der jede Nacht migriert, nicht mit einem verwechselt wird, der nie ein inkrementelles Backup bekommt.
- Anwendungskonsistenz kommt vom QEMU-Gast-Agenten in der virtuellen Maschine, genau wie bei einem Proxmox Backup Server: Ist er installiert, friert Proxmox für den Snapshot die Dateisysteme des Gastes ein; ohne ihn ist das Backup absturzkonsistent.
- Container (LXC) und mit
proxmox-backup-clienterstellte Host-Backups funktionieren genauso.
Jedes Proxmox-Backup erscheint in Caryvane als Ausführung des Jobs des Datenspeichers, eine pro Maschine, mit der Größe, den gesendeten Chunks und den wiederverwendeten Bytes. Die Job-Seite listet jeden Snapshot jeder Maschine.
5. Wiederherstellen #
Wiederhergestellt wird in der Proxmox-Weboberfläche, genau wie aus einem Proxmox Backup Server. Caryvane stellt Proxmox die Backups bereit; für Proxmox-Maschinen gibt es in Caryvane keine Schaltfläche zum Wiederherstellen. Die Seite des Clusters in Caryvane wiederholt diese Schritte mit den eigenen Storage-Namen. Die Menünamen unten sind die der deutschen Proxmox-Oberfläche, in Klammern die der englischen.
Eine ganze Maschine #
- Klicken Sie in Proxmox unter einem beliebigen Knoten auf den Caryvane-Storage. Sein Name beginnt mit
caryvane-(zum Beispielcaryvane-test); die Karte des Speicherbereichs in Caryvane zeigt ihn an. - Öffnen Sie Backups. Jedes Backup jeder Maschine in diesem Speicherbereich wird aufgelistet, das neueste zuerst.
- Wählen Sie das Backup und klicken Sie auf Wiederherstellen (Restore).
- Wählen Sie das Ziel. Eine neue VM-ID stellt neben dem Original wieder her – die sichere Wahl, wenn Sie nur nachsehen möchten. Die eigene VM-ID der Maschine ersetzt sie; Proxmox fordert Sie auf, die Maschine vorher anzuhalten, und überschreibt ihre Festplatten.
- Wählen Sie den Ziel-Storage für die Festplatten (zum Beispiel Ihren Ceph-Pool) und starten Sie die Wiederherstellung. Der Fortschritt erscheint im Aufgabenprotokoll von Proxmox unten auf dem Bildschirm.
Auf der Kommandozeile erledigt qmrestore caryvane-test:backup/vm/153/2026-10-18T17:40:45Z 9153 dasselbe (pct restore für einen Container). Auf unserem eigenen Cluster wurde eine 50-GiB-Maschine in etwa einer halben Minute aus einem Cloud-Bucket wiederhergestellt und startete normal.
Einzelne Dateien und Ordner #
- Öffnen Sie wie oben den Caryvane-Storage und Backups, wählen Sie das Backup und klicken Sie auf Datei-Wiederherstellung (File Restore).
- Proxmox startet eine kleine temporäre Hilfs-VM, um das Backup zu lesen. Öffnen Sie die Festplatte (zum Beispiel
drive-scsi0) und dann die Partition mit den Dateien; eine Swap-Partition lässt sich nicht öffnen. - Navigieren Sie zur Datei oder zum Ordner und klicken Sie auf Herunterladen (Download). Ein Ordner wird als ZIP-Datei heruntergeladen.
Auf die laufende Maschine wird nichts geschrieben; kopieren Sie die Datei selbst zurück. Das erste Durchsuchen eines Backups dauert etwas länger, solange die Hilfs-VM startet.
Wenn der Cluster verloren ist #
Die Backups sind im Speicher sicher, aber jedes ist auf dem Knoten mit einem Schlüssel verschlüsselt, den Proxmox auf dem Cluster aufbewahrt hat (/etc/pve/priv/storage/caryvane-<name>.enc). Haben Sie eine Kopie dieser Datei gesichert, als Proxmox sie anzeigte, legen Sie sie auf dem neuen Cluster wieder ab und stellen Sie wie gewohnt wieder her. Falls nicht, stellt der Wiederherstellungsschlüssel des Kunden in Caryvane ihn wieder her:
- Installieren Sie den Caryvane-Agenten auf einem Proxmox-Knoten des neuen Clusters, fügen Sie den Knoten in Caryvane einem Cluster hinzu und fügen Sie denselben Speicher, Bucket und Ordner als Speicherbereich hinzu. Die Backups erscheinen unter dem neuen
caryvane--Storage in Proxmox. - Klicken Sie auf der Seite des Clusters in Caryvane neben dem Kunden auf Wiederherstellungsschlüssel und speichern Sie den Schlüssel auf dem Knoten als
master.pem. - Holen Sie den verschlüsselten Schlüssel, den jedes Backup mitführt, und entsperren Sie ihn mit dem Wiederherstellungsschlüssel:
proxmox-backup-client restore vm/153/2026-10-18T17:40:45Z rsa-encrypted.key rsa-encrypted.key \ --repository 'USER@127.0.0.1:8007:DATASTORE' proxmox-backup-client key import-with-master-key old.enc \ --master-keyfile master.pem --encrypted-keyfile rsa-encrypted.key --kdf none
USERundDATASTOREsind die Zeilenusernameunddatastoredes Storage in/etc/pve/storage.cfg; das Passwort steht in/etc/pve/priv/storage/caryvane-<name>.pw(übergeben alsPBS_PASSWORD), undPBS_FINGERPRINTist die Zeilefingerprintdes Storage.--kdf nonelässt den wiederhergestellten Schlüssel ohne Passwort, und genau so nimmt ein Proxmox-Storage ihn an. - Bearbeiten Sie in Proxmox unter Rechenzentrum → Storage (Datacenter → Storage) den Caryvane-Storage, öffnen Sie Verschlüsselung (Encryption) und laden Sie
old.encals dessen Schlüssel hoch. Die alten Backups lassen sich nun wie gewohnt wiederherstellen.
Bewahren Sie den Wiederherstellungsschlüssel jedes Kunden dort auf, wo er den Verlust des Clusters übersteht. Sein Download wird im Audit-Protokoll festgehalten.
Snapshots lassen sich in Proxmox schützen und mit Notizen versehen. Die Aufbewahrung jedes Jobs bereinigt die Backups seiner eigenen Maschinen; Nie länger aufbewahren als eines Speicherbereichs entfernt, falls gesetzt, zusätzlich ältere Backups, aber nie das neueste einer Maschine und nie ein geschütztes. Auch die eigenen Werkzeuge von Proxmox funktionieren: proxmox-backup-client, auf einem beliebigen Knoten auf 127.0.0.1:8007 gerichtet, mit dem Token des Storage.
Starttests: prüfen, ob sich Backups wiederherstellen lassen #
Ein Backup, das nie wiederhergestellt wurde, ist eine Hoffnung. Ein Starttest stellt das neueste Backup einer Maschine auf dem Cluster als Wegwerfkopie wieder her, startet sie, fragt sie, wer sie ist, macht ein Bild ihres Bildschirms und löscht sie wieder – nach Zeitplan, ohne dass jemand zusehen muss. Die Proxmox-Seite zeigt dann neben jeder Maschine ein Abzeichen: Vor 2 Tagen gestartet (grün), Gestartet, kein Gast-Agent (gelb), Starttest fehlgeschlagen (rot) oder Nicht getestet. Ein Klick auf das Abzeichen zeigt den Screenshot, den Hostnamen und das Betriebssystem, die die Maschine gemeldet hat, welches Backup getestet wurde, und das Ausführungsprotokoll.
Ein grünes Abzeichen bedeutet, dass die Kopie gestartet ist und über den QEMU-Gast-Agenten geantwortet hat. Es testet nicht die Anwendungen darin und ist kein Versprechen, dass jede Datei intakt ist; es ist ein starker Beleg dafür, dass das Backup eine funktionierende Maschine ist.
Einrichten #
- Auf der Seite des Clusters in Caryvane: Starttests → Starttests einrichten.
- Haken Sie die zu testenden Maschinen an. Getestet wird nur, was Sie anhaken. Die Maschinen werden nacheinander getestet, die kleinste zuerst.
- Geben Sie den Proxmox-Storage an, in den die Kopien wiederhergestellt werden, zum Beispiel
local-lvmoder einen Ceph-Pool. Er muss auf dem Knoten existieren, der die Tests ausführt (auf der Karte angezeigt; es ist der Knoten, der die Backup-Jobs des Clusters schreibt). - Legen Sie die Größenobergrenze fest (200 GB, sofern Sie nichts ändern), wie lange eine Maschine zum Starten Zeit hat (10 Minuten) sowie Tage und Uhrzeit. Standard ist samstags um 12:00 UTC, abseits der nächtlichen Backups; laufen beim Start gerade Backups, wartet der Test, bis sie fertig sind.
Jetzt testen führt den Test sofort aus. Jeder Test ist außerdem eine Ausführung des Starttest-Jobs in der Jobliste, mit seinem Protokoll.
Was ein Test mit dem Cluster macht #
- Die Kopie berührt nie Ihr Netzwerk. Sie wird mit einer neuen VM-ID zwischen 9100 und 9199 wiederhergestellt, jede Netzwerkkarte wird auf getrennt gesetzt, und der Agent liest die Konfiguration von Proxmox zurück und weigert sich, die Kopie zu starten, solange nicht jede Karte als getrennt angezeigt wird. Es gibt keine Einstellung, um das abzuschalten: Ein Domänencontroller, der aus der letzten Woche wiederhergestellt und im Live-Netzwerk gestartet wird, würde veraltete Passwörter und gelöschte Objekte in die echte Domäne zurückreplizieren. Eine Maschine mit durchgereichtem PCI- oder USB-Gerät wird gar nicht gestartet.
- Er startet nur, wenn Platz ist. Die Kopie wird nur angelegt, wenn danach mindestens ein Fünftel des Ziel-Storage oder 50 GB frei bleiben, je nachdem, was mehr ist, wenn die Maschine unter der Größenobergrenze liegt und wenn der Knoten den Arbeitsspeicher der Maschine plus 4 GB Reserve frei hat. Andernfalls zeigt die Maschine Nicht getestet mit dem Grund.
- Sie wird immer entfernt. Die Kopie heißt
cv-verify-name, trägt das Tagcaryvane-verify, startet nie mit dem Knoten und ist nicht in HA. Sie wird mit ihren Festplatten angehalten und gelöscht, wenn der Test endet – egal, wie er endet. - Wird der Agent mitten im Test gestoppt (Neustart, Update), hat er die Kopie vor dem Anlegen vermerkt und entfernt sie beim nächsten Start. Eine VM in diesem Bereich mit dem Tag, von deren Anlage der Agent nichts weiß, wird nie gelöscht: Sie erhalten eine Warnung, sie sich selbst anzusehen. Eine Kopie, die sich nicht entfernen ließ, löst immer eine Warnung aus, unabhängig von Ihren Benachrichtigungseinstellungen.
Ohne QEMU-Gast-Agenten in der Maschine kann das Abzeichen nur sagen, dass sie gestartet ist, deshalb ist es gelb: Öffnen Sie den Screenshot, um zu sehen, wie weit sie gekommen ist. Wenn Sie den Gast-Agenten in jeder Maschine installieren, werden auch ihre Backups anwendungskonsistent.
Der Cluster kann auch physische Windows-Rechner per Starttest prüfen: Ein Backup des ganzen Rechners lässt sich nach Zeitplan in eine Wegwerf-VM auf einem Knoten wiederherstellen, mit derselben Isolierung, demselben VM-ID-Bereich und derselben Bereinigung, und ein Wiederherstellungspunkt eines ganzen Rechners lässt sich als dauerhafte Proxmox-VM wiederherstellen.
Der vollständige Screenshot wird im eigenen Speicher des Kunden neben den Backups aufbewahrt (verify/VMID/ im Ordner des Speicherbereichs); Caryvane behält nur ein kleines Vorschaubild. Fehlgeschlagene Tests werden an die Adressen unter Einstellungen → Benachrichtigungen gemailt; schalten Sie dort Starttest fehlgeschlagen aus, wenn Sie diese E-Mails nicht wollen.
6. Welcher Speicher, und was zu erwarten ist #
Jedes Caryvane-Speicherziel funktioniert. Der Unterschied liegt in der Geschwindigkeit:
- Objektspeicher (Amazon S3, Wasabi, Backblaze B2, Azure Blob, Cloudflare R2 und ähnliche): Die Chunks werden parallel direkt hochgestreamt. Die übliche Wahl.
- Eine Freigabe oder ein Server (SMB, SFTP, FTP, ein lokaler Ordner auf dem Knoten): eine Datei pro Chunk, in derselben Struktur, die ein Proxmox Backup Server auf der Festplatte anlegt. Schnelle Wiederherstellungen im LAN. Ein gewöhnlicher Caryvane-Datei-Job auf einem Windows-Rechner, der die Freigabe sieht, kann den Datenspeicher-Ordner jede Nacht in die Cloud kopieren; Chunks ändern sich nie, also kopiert er nur die neuen der Nacht.
- Dienste, die eine Datei pro Aufruf annehmen (Egnyte, OneDrive, SharePoint, Dropbox, Google Drive): Jeder Chunk ist ein eigener Upload, und der Dienst drosselt die Zugriffe, sodass das erste vollständige Backup einer großen Maschine einen Tag dauern kann. Die nächtlichen inkrementellen Backups sind klein und unproblematisch. Der Assistent weist darauf hin, wenn Sie einen solchen Dienst wählen.
Wenn Sie den Cluster noch nicht ändern können #
Zwei Wege funktionieren schon heute ohne etwas auf den Proxmox-Knoten. Installieren Sie den Caryvane-Agenten in jeder virtuellen Maschine; das ergibt Datei- und Anwendungs-Backups (einschließlich Hyper-V, SQL Server und Active Directory auf Windows-Gästen), aber keine Wiederherstellung der ganzen Maschine. Oder planen Sie vzdump auf einem Knoten in ein lokales Verzeichnis und sichern Sie dieses Verzeichnis mit einem gewöhnlichen Caryvane-Datei-Job; jedes nächtliche Archiv ist vollständig, daher eignet sich das für kleine Maschinen.