Duply: Unterschied zwischen den Versionen

Versionsgeschichte interaktiv durchsuchen

Version vom 14. August 2022, 09:31 Uhr

duply erstellt inkrementelle verschlüsselte Backups

Beschreibung

Frontend für duplicity.
Backups können lokal oder einem anderen System gespeichert werden.
Unterstützte Protokolle: ftp, ssh, s3, rsync, cifs, webdav, http.

Installation

# apt install duply

Syntax

Parameter

Optionen

Umgebungsvariablen

Exit-Status

Konfiguration

Verschlüsselung konfigurieren

Schlüssel erstellen

siehe GPG

Profil erstellen

# duply <backupname> create

Ein duply-Profil wird im Home-Verzeichnis des Benutzers unter ~/.duply/ angelegt und besteht aus den folgenden Dateien:

gpg-key.asc (nur wenn ein gpg-key exportiert wurde.)
conf
pre und post
exclude

Konfiguration

Verschlüsselung einrichten

Voraussetzung

Key-ID und das Passwort des GPG-Keys müssen dafür hinterlegt werden.

GPG_KEY='_GPG_KEY_ID_'
GPG_PW='_GPG_PASSWORD_'

Key-ID anzeigen lassen

Private-Key

gpg --list-secret-keys --keyid-format LONG

Konsole

# gpg --list-secret-keys --keyid-format LONG
gpg: "Trust-DB" wird überprüft
gpg: marginals needed: 3  completes needed: 1  trust model: pgp
gpg: Tiefe: 0  gültig:   1  signiert:   0  Vertrauen: 0-, 0q, 0n, 0m,  0f, 1u
gpg: nächste "Trust-DB"-Pflichtüberprüfung am 2021-11-04
/root/.gnupg/pubring.kbx
------------------------
sec   rsa4096/F47E1B7450082D11 2020-11-04 [SC] [verfällt: 2021-11-04]
      60E3D3C9ED78CE4A40322BBAF47E1B7450082D11
uid              [ ultimativ ] Robert Quies (Es grünt so grün, wenn  Spaniens Blüten blühn.) <raqju@web.de>
ssb   rsa4096/B2E20485FF7FC772 2020-11-04 [E] [verfällt: 2021-11-04]

Public-Key

# gpg --list-keys --keyid-format LONG

Konsole

# gpg --list-keys --keyid-format LONG
/root/.gnupg/pubring.kbx
------------------------
pub   rsa4096/F47E1B7450082D11 2020-11-04 [SC] [verfällt: 2021-11-04]
      60E3D3C9ED78CE4A40322BBAF47E1B7450082D11
uid              [ ultimativ ] Robert Quies (Es grünt so grün, wenn Spaniens Blüten blühn.) <raqju@web.de>
sub   rsa4096/B2E20485FF7FC772 2020-11-04 [E] [verfällt: 2021-11-04]

Kompression und Art der Verschlüsselung festlegen

Zusätzlich können in GPG_OPTS= weitere Optionen zur Kompression und Art der Verschlüsselung gesetzt werden.

Es soll mit dem freien Komprimierungsprogramm bzip2 komprimiert werden und dem symmetrischen Verschlüsselungsverfahren Advanced Encryption Standard, auch Rijndael-Algorithmus genannt, mit einer Schlüssellänge von 256 verschlüsselt werden.

GPG_OPTS='--compress-algo=bzip2 --personal-cipher-preferences AES256'

De-/Aktivieren der Überprüfung GPG-Key und GPG-Passphrase

duply prüft vor jeder Aktion ob der GPG-Key gültig ist und die Passphrase korrekt ist.
Dies kann durch die Option GPG_TEST='disabled' unterbunden werden.

Aktiviert

GPG_TEST='disabled'

Deaktiviert

# GPG_TEST='disabled'

Ziel und Quelle des Backups festlegen

Allgemeine Syntax des hosts

scheme://[user:password@]host[:port]/[/]path

Protokolle und Syntax zur Datenübertragung

duply versteht alle gängigen Protokolle zur Datenübertragung.
In der conf-Datei befindet sich meistens eine Liste der wichtigsten unterstützten Protokolle und deren Syntax.

file://[/absolute_]path
ftp[s]://user[:password]@other.host[:port]/some_dir
hsi://user[:password]@other.host/some_dir
cf+http://container_name
imap[s]://user[:password]@host.com[/from_address_prefix]
rsync://user[:password]@other.host[:port]::/module/some_dir
rsync over ssh (only keyauth)
rsync://user@other.host[:port]/relative_path
rsync://user@other.host[:port]//absolute_path
for the s3 user/password are AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY
s3://[user:password]@host/bucket_name[/prefix]
s3+http://[user:password]@bucket_name[/prefix]
scp and sftp are aliases for the ssh backend
ssh://user</nowiki>[:password]@other.host[:port]/some_dir
tahoe://alias/directory
webdav[s]://user[:password]@other.host/some_dir

Hinweis
Sonderzeichen müssen urlencoded eingetragen werden, außer bei den Parametern TARGET_USER, TARGET_PASS

Ziel des Backups festlegen

TARGET='scheme://user[:password]@host[:port]/[/]path'

Es soll das Protokoll ssh zur Datenübertragung genutzt werden.
Username: user
Passwort: KohlIstKrempe969
Host: foxtom.net
Port: 22
Pfad: home/user/backup_PC1

TARGET='ssh://user:KohlIstKrempe969@foxtom.net:22/home/user/backup_PC1'

Quelle des Backups festlegen

Root-Verzeichnis für das Backup setzen.

SOURCE=

Soll ein Backup aus mehreren Unterordnern von / bestehen (Bsp.: /etc /var /home sollen gesichert werden), so muss die SOURCE Variable auf / gesetzt werden.

SOURCE='/'

In der Regel wird SOURCE='/' gesetzt.

Dateien, die in die Sicherung aufgenommen oder von ihr ausgeschlossen werden, werden in der Datei exclude angegeben.

Maximales Alter eines Backups festlegen

Hier ist anzumerken, dass duply keine Backups löscht, sofern man es nicht anfordert.

Mit MAX_AGE wird das maximale Alter von Backups bestimmt. Das älteste Backup soll maximal ein Jahr alt sein.

MAX_AGE=1Y

Anzahl der vollständigen Backups festlegen

Mit MAX_FULL_BACKUPS kann bestimmt werden, wie viele Full-Backups duply maximal behält.

Es sollen fünf sein.

MAX_FULL_BACKUPS=5

Maximales Alter der vollständigen Backups festlegen

Alternativ kann mit MAX_FULLBKP_AGE spezifiert werden, wie alt ein Full-Backup sein darf, bevor ein neues Full-Backup erstellt wird.

Es soll zwei Wochen alt sein.

MAX_FULLBKP_AGE=2W
DUPL_PARAMS="$DUPL_PARAMS --full-if-older-than $MAX_FULLBKP_AGE"

Größe der Backup-Pakete bei der Übertragung ändern

Um den durch eventuelle Übertragungsfehler entstehenden Zeitverlust einzuschränken, teilt duply standardmäßig seine Backups in 25 MB große Dateien.

Dies kann mit VOLSIZE geändert werden.

Backup-Pakete sollen 10 MB groß sein.

VOLSIZE=10
DUPL_PARAMS="$DUPL_PARAMS --volsize $VOLSIZE"

Dateien

Anwendungen

Anwendung

GPG_KEY='C676563899DE35FA'
GPG_PW='NerzManta9'
GPG_OPTS='--compress-algo=bzip2 --personal-cipher-preferences AES256'
GPG_TEST='disabled'
TARGET='ssh://user:KohlIstKrempe969@foxtom.net:22/home/user/backup_PC1'
SOURCE='/'
MAX_AGE=1Y
MAX_FULL_BACKUPS=5
MAX_FULLBKP_AGE=2W
DUPL_PARAMS="$DUPL_PARAMS --full-if-older-than $MAX_FULLBKP_AGE"
VOLSIZE=10
DUPL_PARAMS="$DUPL_PARAMS --volsize $VOLSIZE"

Pre- und Post-Skripte

duply erlaubt die Verwendung von Pre- und Post-Skripten.
Das pre-Skript wird direkt vor dem Backup ausgeführt, das post-Skript direkt nach dem Backup.
Mit diesen Skripten können beispielsweise Snapshots von LVM-Volumes oder Dumps von SQL Datenbanken gemacht und in das Backup einbezogen werden.
Die files pre und post müssen im jeweiligen duply Verzeichnis liegen (Bsp.: /home/user/.duply/backup/) und ausführbar sein.
Werden die pre/post Scripte nicht wie erhofft ausgeführt (z.B. bei den Sicherchungs-Methoden "full/incr"), können diese explizit angegeben werden: pre_incr_post

Beispiel

Hier ein Beispiel für ein PRE/POST Skript welches vor dem Backup einen SQL-Dump aller Datenbanken erstellt und diesen nach dem Backup wieder löscht.

pre-Datei

/usr/bin/mysqldump --all-databases -u root -ppw> /tmp/sqldump-$(date '+%F')

post-Datei

/bin/rm /tmp/sqldump-$(date '+%F')

exclude

duply arbeitet standardmäßig mit einer Whitelist.
Um gewisse Verzeichnisse oder Dateien von einem Backup zu inkludieren muss die Datei exclude im duply Verzeichnis erstellt werden.
Die Syntax erlaubt das Hinzufügen von Verzeichnissen und Dateien mit einem + /pfad/zur/datei.
Um ein Verzeichnis zu exkludieren muss in der exclude ein - /pfad/zum/Verzeichnis eingefügt werden.
Zudem erlaubt duply die Verwendung von Wildcards.
Die hier dargestellte exclude Datei sichert die Verzeichnisse /etc/, /root/, /var/www/ und exkludiert alle anderen Verzeichnisse.

+ /etc/
+ /root/
+ /var/www/
- **

Parameter

duply bietet eine Vielzahl von Kommandozeilenparametern für die Sicherung und Wiederherstellung von Daten.
Die gesamte Liste ist in der Manpage von duply zu finden.
Beim Einsatz von mehreren Parameter werden diese durch einen Unterstrich (_) getrennt.
Mit /usr/bin/duply /root/.duply/test full_verify_purge --force wird ein volles Backup erstellt, verifiziert und alte Backups gelöscht.
Backups welche die MAX_AGE überschritten haben werden mit purge angezeigt und durch die zusätzliche Option --force gelöscht.
Der Befehl /usr/bin/duply /root/.duply/test incr führt ein inkrementelles Backup aus.

cronjob

Bei duply handelt es sich nicht um einen Dienst (Daemon), sondern um ein Skript, das z.B. regelmäßig via Cron ausgeführt werden kann.

Beispiel

0 0 * * 7 /usr/bin/duply /root/.duply/test full_verify_purge --force
0 0 * * 1-6 /usr/bin/duply /root/.duply/test incr

In dieser Konfiguration wird Sonntags um 0:00 ein Full-Backup erstellt und alte Backups gelöscht.
Montag bis Samstag wird jeden Tag ein inkrementelles Backup durchgeführt.
Neue cronjobs können mit crontab -e erstellt werden.
Kommandos und Konfigurationsdateien müssen mit absolutem Pfad angegeben werden.

Fehlerbehebung

Volume was signed by key X not Y

OSError: Socket is closed

ssh: Exception (client): Signature verification (ssh-rsa) failed.
ssh: Traceback (most recent call last):
ssh:   File "/usr/local/lib/python3.10/dist-packages/paramiko/transport.py", line 2130, in run
ssh:     self.kex_engine.parse_next(ptype, m)
ssh:   File "/usr/local/lib/python3.10/dist-packages/paramiko/kex_curve25519.py", line 64, in parse_next
ssh:     return self._parse_kexecdh_reply(m)
ssh:   File "/usr/local/lib/python3.10/dist-packages/paramiko/kex_curve25519.py", line 130, in _parse_kexecdh_reply
ssh:     self.transport._verify_key(peer_host_key_bytes, sig)
ssh:   File "/usr/local/lib/python3.10/dist-packages/paramiko/transport.py", line 1942, in _verify_key
ssh:     raise SSHException(
ssh: paramiko.ssh_exception.SSHException: Signature verification (ssh-rsa) failed.
ssh:
Attempt of put Nr. 1 failed. OSError: Socket is closed

Sicherheit

Dokumentation

RFC

Man-Pages

Info-Pages

Projekt-Homepage

Links

Siehe auch

Weblinks

Einzelnachweise

Testfragen

Testfrage 1

Antwort1

Testfrage 2

Antwort2

Testfrage 3

Antwort3

Testfrage 4

Antwort4

Testfrage 5

Antwort5