SelfMade NAS by Rasperi

[Montesquieu]

Montis Tour durch alle Tech-Threads geht weiter: ;)

Mein Raspi ist ja jetzt zum NAS mutiert. Allerdings hängt an dem System erst einmal nur eine alte externe 3.5 Zoll WD-HDD, die halt meine Vor-Spotify-MP3-Sammlung, meine Vor-Netflix-Video-Sammlung, meine Vor-Google-Photos-Foto-Sammlung und meine Dokumente enthält, die sich so angesammelt haben.

Jetzt möchte ich natürlich doch ein wenig zukunftsträchtiger planen und zumindest meine wichtigen Daten auch bei mir offline wähnen. Wer weiß, wann ein doofes Gesetz Streaming verbietet oder durch die Regierung Trump II 2025 Google von heute auf morgen gesplittet wird und Google Cloud Storage auf einmal nicht mehr für Europäer zugänglich ist. Was mich letztes Jahr gelehrt hat, ist, dass alles möglich ist.

Allerdings sind meine Ansprüche im normalen Betrieb nicht sonderlich hoch: Ein wenig Dokumenten-Austausch, mal nen getorrenten Film von Annno-dazumal gucken, den es nicht auf den Streaming-Plattformen gibt, vor allem Bilder sichern, auch alle paar Jubeljahre vom Smartphone oder der Google Cloud.

Viele Fragen dazu:

- Soll ich ein Raid (1) einrichten? Ist das mit Kanonen auf Spatzen geschossen?
- Ist es alternativ nicht vielleicht sogar besser für die Langlebigkeit einer Backup Plate, dass ich 1x in der Woche ein Backup auf diese mache? Mir ist bewusst, dass ich dadurch evt. auch Datenverlust haben könnte, aber der Durchsatz ist bei mir am NAS wirklich sehr gering.
- Gibt es da die Möglichkeit dass mit einer kleiner App zu erledigen, die per Cron-Job in Terminal-Linux (Raspberry Pi Os Lite) nur die geänderten und neuen Dateien einmal in der Woche auf die Backup-Platte kopiert?

Zu den Platten:
- SSDs für NAS ist quatsch, oder?
- Brauche ich unbedingt spezielle NAS-Platten? Die Red-Dingers von WD z. B.? Oder ist das nur für Firmen und Leute, die jeden Tag Pornhub sichern müssen, nötig?
- Ich finde ja 2,5" Platten charmant platz- und stromsparend. Ist das ok, oder müssen das unbedingt 3,5"er sein? Würde dann zwei von den Dingern einfach an einen aktiven USB-Hub hängen, obwohl der RPI auch beide ohne Zusatzstrom betreiben könnte. Aber sicher ist sicher, oder?

edit: Habe mal rsync gefunden und lese mich da mal ein. Sollte eigentlich genau das tun, was ich will. Frage bleibt: Raid oder wöchentliches automatisches Backup?

edit2: File-System dafür egal, also ext4 in Ordnung? Kann ja auch von Windows (also meiner Frau) als Netzlaufwerk benutzt werden ... BTRFS brauche ich ja bei der bloßen Dateiverschieberei nicht, oder?

[Garfield]

- Soll ich ein Raid (1) einrichten? Ist das mit Kanonen auf Spatzen geschossen?

MD Raid über zwei USB Platten, ja kann man machen. Aber dein Alternativvorschlag ist besser.


- Ist es alternativ nicht vielleicht sogar besser für die Langlebigkeit einer Backup Plate, dass ich 1x in der Woche ein Backup auf diese mache? Mir ist bewusst, dass ich dadurch evt. auch Datenverlust haben könnte, aber der Durchsatz ist bei mir am NAS wirklich sehr gering.

Das würde ich eher machen. Ein automatisiertes Backup ist super. Die Backup Platte liest dann halt ein wenig, das wird die schon überleben. Dafür macht man ja auch das Backup :)


- Gibt es da die Möglichkeit dass mit einer kleiner App zu erledigen, die per Cron-Job in Terminal-Linux (Raspberry Pi Os Lite) nur die geänderten und neuen Dateien einmal in der Woche auf die Backup-Platte kopiert?

Das wäre Rsync. Damit kann man rekursiv durch die Verzeichnisse gehen und die Daten kopieren. Man kann ihm auch sagen er soll im Zielverzeichnis die Dateien löschen die nicht mehr da sind. Willst du auch Snapshots machen?


- SSDs für NAS ist quatsch, oder?

Nicht unbedingt. Hängt ein wenig von der Nutzung ab. So der übliche Synology Einsatzzweck mit einmal halb voll machen und dann immer nur bisschen schreiben und eher viel lesen passt da ganz gut. Es gibt mittlerweile sogar Produktreihen von NAS SSD. Fraglich ist aber halt immer ob man den Speed braucht und dafür die Kosten inkauf nimmt. Am Pi würde ich sagen ist das eher nicht so sinnvoll.


- Brauche ich unbedingt spezielle NAS-Platten?

Nicht notwendigerweise. Der Wohnzimmertauglichkeit halber sollte man jetzt nicht unbeding 7200 RPM Platten nehmen. Die waren 4 Jahre durchgehend an.


Die Red-Dingers von WD z. B.?

Red Festplatten sind für 24/7 Betrieb zertifiziert. Die haben dann auch 1.5 Mio Stunden Mean Time Between Failures angegeben. Bei den WD Red gibt's mittlerweile WD Red, Red Plus und Red Pro. Die normalen können SMR (Shingled Magnetic Recording) beinhalten, ab Red Plus aufwärts sind es CMR Platten. Red Plus sind dafür gedacht dass man die ab so 8 Platten im Verbund oder was nimmt.


Oder ist das nur für Firmen und Leute, die jeden Tag Pornhub sichern müssen, nötig?

Die Red und Red Pro können mehr Vibrationen ab. Wenn man 24 Platten oder so in einem Gehäuse hat. Die haben auch eine bisschen andere Firmware drauf. Die kann man sich als Privatanwender kaufen, die halten dann vermutlich auch etwas länger oder besser. Ausfallen können die aber trotzdem. Wir sollten hier aber Verteidigung in der Tiefe betreiben. Haltbarkeit der einzelnen Festplatten ist da nur die erste Linie wo nur ein bisschen verzögert wird.


Ich finde ja 2,5" Platten charmant platz- und stromsparend. Ist das ok, oder müssen das unbedingt 3,5"er sein? Würde dann zwei von den Dingern einfach an einen aktiven USB-Hub hängen, obwohl der RPI auch beide ohne Zusatzstrom betreiben könnte. Aber sicher ist sicher, oder?

Am Pi würde ich die 2.5er nehmen. Wenn man jetzt nicht bahnbrechende Kapazitäten braucht geht das. Der Performancevorteil dder 3.5er ggü den 2.5ern sollte sich am Pi eh nicht bemerkbar machen. Am Pi haben Leute häufiger mal Probleme mit ihren USB Kabeln und so (einer der Gründe warum ich das Ding mittlerweile meide).


edit: Habe mal rsync gefunden und lese mich da mal ein. Sollte eigentlich genau das tun, was ich will. Frage bleibt: Raid oder wöchentliches automatisches Backup?

Wöchentliches Backup, hands down. Man kommt mit viel mehr wackeligem Setup aus wenn man ein wöchentliches Backup hat.


edit2: File-System dafür egal, also ext4 in Ordnung? Kann ja auch von Windows (also meiner Frau) als Netzlaufwerk benutzt werden ... BTRFS brauche ich ja bei der bloßen Dateiverschieberei nicht, oder?

Sollte mit beiden gehen. ext4 hat man im Zweifelsfalle weniger Probleme das zu mounten. Würde btrfs nehmen wenn ich nen Linux mit gespiegelter Bootplatte machen möchte. Ich hab grad nen ZFS Mirror als Bootplatte von einem Linux und das ist nicht ganz ohne Probleme.

[Alith Anar]

Werter Monte,

Ihr bringt da zwei Sachen durcheinander, die gerne verwechselt werden.
1. Ein RAID ist KEIN Backup
Ein RAID schützt die Daten beim Ausfall einer Platte

2. Ein Backup schützt euch wenn der Rechner geklaut, oder ein Haus drauf fällt oder so.
Daher ist es eigentlich immer sinnvoll im NAS ein RAID einzusetzen und wichtige Daten noch auf einem externen Backup zu liegen zu haben.
Ob man jetzt die MP3 Sammlung oder der Film von Anno dazumal dazugehört muss jeder selbst entscheiden.

3. Im Windows Bereich sollte robocopy das Tool der Wahl sein, im Linuxumfeld vermutlich rsync.
Das kann man auch entsprechend parametrisieren, so das er nur geänderte Dateien backupt und den rest ignoriert.

SSD im NAS: IMHO im Hausgebrauch zu viel des Guten. Das NAS hängt in der Regel an einem 1 Gbit Anschluss was also ca 150 MB / Sekunde als Maximalgeschwindigkeit entspricht.
Das schafft auch eine normale Platte. Einzig, das eine normale SATA-Platte kann nur HalbDuplex. Also Lesen oder Schreiben. Sonst braucht man eine SAS Platte.
Bei einem 2 BAY wird man evtl etwas merken, wenn man mit mehren Geräten gleichzeitig drauf zugreift, bei einem grösseren NAS, reicht die Leistung des RAID aus.

NAS Platten sind etwas anders aufgebaut und auch die Firmware ist dafür ausgelegt. Sie schalten nicht so schnell in den Stromsparmodus und ähnliches. Der Aufpreis ist heutzutage auch nicht mehr so gross.

Ich habe Jahrelang in meinem Windows SBS Server 2,5 " WD RED Platten drin gehabt. Sie sind halt langsamer (maximal 5600 U/MIN) ganz selten mal 7200. Ist inzwischen aber auch bei 3,5 Standard. Schnellere Platten gibt es selten. Auf eine 3,5" passen grössere Magnetplatten ergo mehr Speicher rein.
Ansonsten gibt es da keine Unterschiede.

Das File System spielt keine Rolle.
Der Zugriff auf die Daten im Netzwerk erfolgt über das Protokoll SMB oder FTP oder DAV ... Also irgendeinen allgemeinen Standard. Der übernimmt die Übersetzung von FAT/NTFS/EXT ... . Letzteres ist nur dafür wichtig um die Daten und Ihre Speicherung auf dem Physischen Träger zu übernehmen.

[Montesquieu]

Danke den Herren für die ausführlichen Antworten!

Ja, werde jetzt wohl die Backup-Route fahren. Zwei 4TB-Platten sind bestellt. Dann habe ich wieder was zum Basteln, aber letztendlich nützt es ja auch was. ;)



Das wäre Rsync. Damit kann man rekursiv durch die Verzeichnisse gehen und die Daten kopieren. Man kann ihm auch sagen er soll im Zielverzeichnis die Dateien löschen die nicht mehr da sind. Willst du auch Snapshots machen?

Nope. Das Betriebssystem ist tatsächlich relativ "Barebone". Ich synce dann halt noch die Windows-VM rüber und Dateien, das sollte dann reichen.




Am Pi würde ich die 2.5er nehmen. Wenn man jetzt nicht bahnbrechende Kapazitäten braucht geht das. Der Performancevorteil dder 3.5er ggü den 2.5ern sollte sich am Pi eh nicht bemerkbar machen. Am Pi haben Leute häufiger mal Probleme mit ihren USB Kabeln und so (einer der Gründe warum ich das Ding mittlerweile meide).

Sind jetzt doch 3,5"er geworden. Ist mir dann doch mit externem Stromanschluss was saver. Man gönnt sich ja sonst nichts ... ;)



Sollte mit beiden gehen. ext4 hat man im Zweifelsfalle weniger Probleme das zu mounten. Würde btrfs nehmen wenn ich nen Linux mit gespiegelter Bootplatte machen möchte. Ich hab grad nen ZFS Mirror als Bootplatte von einem Linux und das ist nicht ganz ohne Probleme.

Ext4 it is somit. ;)


Werter Monte,

Ihr bringt da zwei Sachen durcheinander, die gerne verwechselt werden.
1. Ein RAID ist KEIN Backup
Ein RAID schützt die Daten beim Ausfall einer Platte

2. Ein Backup schützt euch wenn der Rechner geklaut, oder ein Haus drauf fällt oder so.
Daher ist es eigentlich immer sinnvoll im NAS ein RAID einzusetzen und wichtige Daten noch auf einem externen Backup zu liegen zu haben.
Ob man jetzt die MP3 Sammlung oder der Film von Anno dazumal dazugehört muss jeder selbst entscheiden.

Ne, verwechselt habe ich da nichts. Ich wollte nur wissen, was mich meinem Ziel näher bringt: Die oben beschriebenen Daten möglichst sicher aufzubewahren und ob eine Raid-Konfiguration Vorteile mit sich bringt. Denn ein Raid 1 soll ja schon mehr Datensicherheit bringen als einfach eine einzelne Platte anzuschließen, nicht? Aber da werden ja die Daten ständig gespiegelt, oder? Also potenziell hält die Backup-Festplatte länger als eine Raid-Festplatte, oder?

[Montesquieu]

Ja, Kinners.

Haben wollen und können, aber bezahlen sind zwei paar Schuhe. :D

[Montesquieu]

Sind eben 4 statt 2 Platten...und der Osterhase steht vor der Tür :D

Das waren jetzt erst einmal die zwei Platten ... ;) Verbunden mit den RPI-Ausgaben muss es auch mal reichen. Ähem ... :uhoh:

[Garfield]

Ext4 it is somit. ;)

Oh warte mal. btrfs (spricht man "Butter FS" aus für alle für die das neu ist) kann Snapshots. Das hört sich nach dem an was du willst.

Szenario wäre dann zwei btrfs volumes zu machen, dann auf deinem NAS Snapshots zu erstellen und die dann inkrementell rüber zu schicken. Der große Vorteil davon wäre: Das das wesentlich schneller als rsync ist (und rsync ist schon nicht langsam). Rsync muss sich vom Ziel erstmal die Metadaten aller Dateien die relevant sind geben lassen und das dauert. der Snapshot beinhaltet einfach die Info "alle Blöcke die neuer sind als $Datum" und ballert das dann einfach rüber.

Das geile wäre dann auch, dass man stündliche, tägliche, wöchentliche und monatliche snapshots auf dem NAS erstellt und die dann einfach durchrotiert. Da das ganze copy-on-write ist, geht dabei nicht mal viel Platz verloren.

Das ganze muss man nicht selbst skripten, dafür gibt's schon einiges an Skripten. Wenn du auf deinem Arbeitslinux deine daten auf btrfs hast kannste natürlich schön stündliche snapshots machen die du sicherst.

Das funktioniert ähnlich wie bei ZFS, aber btrfs ist im Gegensatz zu ZFS im Kernel drin btrfs ist auch nur als dmks erhältlich, wtf, warum das? (ZFS nur per DKMS erhältlich weil die CDDL Lizenz nicht kompatibel mit der GNU GPL ist*.

[Montesquieu]

Von der Praxis her:

Nützt das mir was, wenn ich rsync einfach für drei Uhr Nachts am Mittwoch schedule und der schaufelt von NAS-Platte auf Bachup-Platte durchschnittlich ein paar Megabyte rüber? Höchstens mal ein paar GB.

RSYNC lässt ja auch die ursprüngliche Ordnerstruktur wieder zu, da würde ich mir bei FP-Kollaps ja den Entpackvorgang sparen. Bzw. außer Zeit und etwas Platz gibt es da keinen Vorteil wie bspw. "BTRFS hält die Festplatte jünger, schöner und kann Quanten berechnen". Wie gesagt: Snapshots von meinem System wollte ich nicht machen.

[Garfield]

Nützt das mir was, wenn ich rsync einfach für drei Uhr Nachts am Mittwoch schedule und der schaufelt von NAS-Platte auf Bachup-Platte durchschnittlich ein paar Megabyte rüber? Höchstens mal ein paar GB.

Je nach Pipe die zwischen dir und einer Backup Platte liegt. Verschiebe Operationen erkennt rsync nicht, glaube ich, da werden dann die Daten gesammelt neu übertragen. Also wenn du deinen Filme Ordner woanders hinschiebst in der Ordnerstruktur, das dauert dann per rsync lange, per snapshot geht das schneller. Aber das muss einem erst passieren. Wenn's eh nur übers lokale Netzwerk geht ist das nicht so schlimm.


RSYNC lässt ja auch die ursprüngliche Ordnerstruktur wieder zu, da würde ich mir bei FP-Kollaps ja den Entpackvorgang sparen. Bzw. außer Zeit und etwas Platz gibt es da keinen Vorteil wie bspw. "BTRFS hält die Festplatte jünger, schöner und kann Quanten berechnen". Wie gesagt: Snapshots von meinem System wollte ich nicht machen.

Ich weiß nicht was du an der Stelle mit Entpackvorgang meinst. Mein Eindruck war dass du im Falle eines Plattencrashes auf der Ersatzplatte dann ein btrfs Volume anlegst und dann die Subvolumes per brfs send einfach rüber feuerst. Das geht vermutlich bei vielen kleinen Dateien auch etwas schneller als per Rsync, weil da ja einzelne Dateien übertragen werden und nicht einfach alle Blöcke nacheinander.

Praktischer Nutzen wäre glaub ich der, dass du deinen PC kontinuierlich stündliche Snapshots aufs NAS schmeißen lässt, das behält dann die letzten 12 hourly, die letzten 5 daily und die letzten 4 weekly oder so und synct dann die daily auf die Backupplatte oder so.

Vorteil wäre da dann dass du nur ne Stunde Arbeit auf deinem Arbeitspc verlieren kannst oder nen Tag Daten auf dem NAS wenn da bei einem die Platte platzt. Ansonsten wäre der Benutzungsvorteil: Du kannst Kompression auf eingen subvolumes anmachen, dann liegt der Kram da automatisch gezippt vor, für Textwüsten ganz nett.

[Alith Anar]

Ne, verwechselt habe ich da nichts. Ich wollte nur wissen, was mich meinem Ziel näher bringt: Die oben beschriebenen Daten möglichst sicher aufzubewahren und ob eine Raid-Konfiguration Vorteile mit sich bringt. Denn ein Raid 1 soll ja schon mehr Datensicherheit bringen als einfach eine einzelne Platte anzuschließen, nicht? Aber da werden ja die Daten ständig gespiegelt, oder?

Die Änderungen werden gleichzeitig auf beide Platten geschrieben. Wenn du eine Datei schreibst, kommt Sie gleichzeitig auf beiden Platten an. Löscht du eine Datei wird Sie gleichzeitig auf beiden Platten gelöscht.

[Montesquieu]

So, die Festplatten sind da. :)

Gerade läuft das Kopieren von der Altfestplatte auf die neue Festplatte ab. Danach richte ich mal das Backup ein.

[Montesquieu]

Erkenntnisse und Fragen des gestrigen Tages:

- Wenn man per SSH einen Befehl ausführt (in diesem Fall rsync), dann bricht dieser ab, wenn der Compi in Suspension geht bzw. sich das Terminal abmeldet: Hrmpf. Da waren dann auf einmal überall leere Ordner überspielt. Aber ok, ist ja soweit logisch, wenn man es weiß ... ;)
- Mein erstes Bash-Skript führt einen Import aus und schickt mir danach eine Mail mit dem Backup-Bericht zu! Und es klappt! Das muss ich dann nur noch als Cron-Job ausführbar machen. Schauen wir mal, was das gibt.
- Dieses Bild ist erst einmal sicher, damit meine Ur-Ur-Enkel darüber einmal sinnieren können:

12179

[Tex_Murphy]

Wir gruseln Uns gerade ein wenig ob des Bildes...

[Garfield]

Tmux oder Screen. Oder halt den Prozess in den Hintergrund schicken.

Ggf kannste dir auch mal reptyr (https://linux.die.net/man/1/reptyr) angucken, damit kann man sich einen Laufenden Prozess in die Shell und den Vordergrund ziehen, klappt nicht bei allem und jedem, ist aber ganz praktisch wenn es klappt.

Falls du heute mit den Kindern noch nix zum Fernsehen hast kannst du dir ja mal den TMUX Vortrag hier angucken:


https://www.youtube.com/watch?v=s-bQRd6v63I

[Garfield]

Von links nach rechts, der Zarewitsch, Rolin, Carl und Heinrich der Löwe, alle in der Blüte ihrer Jugend.

[[B@W] Abominus]

Und das sind noch die attraktivsten!

[Montesquieu]

So, ich danke den werten Mitregenten für die Mithilfe. :)

- Alle Altdaten sind von diversen Rechnern und Festplatten auf die neue 4TB-HDD gesichert.
- Morgens um 4:00 Uhr springt das RSYNC-Skript per Cronjob an und schick mir danach den Backup-Bericht per Mail.
- tmux ist super. Habe ich direkt mal zum Überspielen von Daten gebraucht. Dass es dazu ein "tiling window manager" ist, habe ich auch schon gerade beim ändern von fstab benötigt. :top:
- Ich danke Garfield für das Tool "caffeine", was er vor mehr als einem Jahr empfohlen hatte. Erst habe ich ja gedacht: "Wofür sollst du das denn gebrauchen?" Ha, wenn man Computer "richtig" nutzt, dann braucht man das schon. ;) (Oder wenn man nicht weiß, wie man tmux bedient. dumdidum ...)
- 95 MB Speicherverbrauch immer ... argh, Kinners. Da ist der Pi ja Verschwendung ... ;)


Schön, alte Pferde lernen auch noch. :D

12183

[Garfield]

Na da können wir ja bald mal den alten Si-Forum Bluestyle als VIM Color-Schema erstellen :)

Tmux sieht immer so schön nach Hackerman aus. Das Konzept gibt es übrigens als i3 auch als komplette Desktopoberfläche oder unter der Gnome Variante PopOS! auch als Erweiterung für den Desktop (https://github.com/pop-os/shell).

[Montesquieu]

Na da können wir ja bald mal den alten Si-Forum Bluestyle als VIM Color-Schema erstellen :)

Tmux sieht immer so schön nach Hackerman aus. Das Konzept gibt es übrigens als i3 auch als komplette Desktopoberfläche oder unter der Gnome Variante PopOS! auch als Erweiterung für den Desktop (https://github.com/pop-os/shell).

An einen "tiling window manager" habe ich mich bisher noch nicht rangetraut. Linux benutze ich zurzeit ja auch nur privat, da reicht mir die Kombi floating + Arbeitsflächen dicke aus. Mittlerweile hätte ich aber gerade auch meinen Arbeitsrechner als Linux-Maschine. Das einzige, was mir fehlen würde, wäre halt Office, bzw. das könnte auch wieder eine VM regeln. ;) Da wäre tiling echt sinnvoll.

Im Terminal finde ich das allerdings sehr, sehr cool und hätte das auch für diverse Raspberry Pi-Sachen benutzen können. Ist halt doch eleganter, ein Terminalfenster zu benutzen, als mehrere zu öffnen, weil man hier eine config bearbeiten muss, da aber einen Pfad rauszufinden hat und in Terminal drei noch die Berechtigungen einer Datei ändern muss. Also das lohnt sich daher auch schon lokal für mich.

[Garfield]

Ja ich hab i3wm nur mal kurz ausprobiert, aber das ist für mich auch nicht wirklich was. Die PopOS! Shell habe ich mal auf PopOS! (Ubuntu Derivat) ausprobiert und das lässt sich an und ausmachen.

Wenn du eh auf Gnome unterwegs bist würde ich mir pop os generell mal anschauen. Das ist von System 76, die machen Linux Workstations. Das geht mehr in die Richtung Distribution die auch mehr proprietäre Software zulässt. Weil die halt selbst Computer verkaufen setzen die relativ stark drauf dass darin alles sauber läuft.

[Montesquieu]

Ach, ich habe da keine DE-Präferenz: Auf dem Laptop tatsächlich Ubuntu+Gnome, auf dem MacMini Mint+Cinnamon, auf dem RPI als Desktop RPIOS+LXQT. Habe mir aber tatsächlich mal die System76-Laptops angeschaut, als Alternative, wenn bei mir mal ein Laptop-Upgrade anstehen sollte, d. h. wenn Paradox nicht mehr vernünftig läuft. ;) Die gibt's aber nur in Amiland. :eek:

[Garfield]

Das sind eigentlich "nur" Clevo Laptops, sprich die müsste man auch in Deutschland kriegen von anderen Herstellern oder halt direkt von Clevo. Die kommen dann aber mit normalem BIOS und nicht mit coreboot.

Das manuell auf einem 1000€ Gerät zu flashen wäre mir zu mutig. Wenn man mit dem normalen UEFI/BIOS leben kann kann man sich den Clevo aber halt auch in System76 Lemur Spezifikation zusammenstückeln.