Hallo siducer allesamt,
ich habe ein RAID 10 mit 4 Platten, welches ich mit siduction bespielen möchte. Das RAID wurde über das integrierte BIOS konfiguriert und erstellt, aber noch nichts installiert.
Zunächst habe ich mit der aktuellen cinnamon den Boot-Prozess gestartet welcher das RAID auch erkennt und versucht als Device zu initialisieren. Der Zugriff auf die Platten funktioniert auch, läuft aber auch nach über einer Stunde ohne erkennbare Fortschritte und so habe ich das abgebrochen.
Darauf habe ich mit einem Sysresc Image mir eine md124p1 (so heisst das nun mal...) Partition erstellt, mit ext4 formatiert sowie anschließend einen fsck gemacht, alles schick. Die Partition testweise einegbunden, einige Daten kopiert, alles fehlerfrei.
Dann habe ich den cli-installer gestartet, welcher alle Partitionen korrekt erkennt und den Installationsvorgang ohne Fehler abschließt. Wenn ich aber dann das frisch installierte System neu starte, fährt dieses nur in die initramfs Shell. Ganz offensichtlich ist soweit ich das sehe der mdm RAID Treiber nicht in der Lage, von der Partition zu starten. Da das GRUB Menü erscheint gehe ich aber mal davon aus, dass zumindest der Boot-Manager korrekt geschrieben wurde aber der Rest nicht funktioniert.
Wo kann ich denn da weitersuchen?
Hat das schon einmal jemand in vergleichbarer Konfiguration hinbekommen?
Funktioniert das, wenn ich mit einem Debian Image installiere denn ich kann ja hinterher immer noch auf siduction migrieren?
Bin für alle Hinweise dankbar.
ralfi: nichts für ungut, aber meinereiner glaubt, dass Du im Begriff bist, Dir gar mächig in beide Knie zu schießen :)
Für einen Schuss in beide Füsse reicht eigentlich pures Sid, da brauch man nich noch die jmicron- OnBoard-Controller zu - die ich einfach mal per Handauflegen auf Deinem Board vermute. Die Teile bringen nichts ausser Probleme, wenn die Hardware mal abraucht. - So, dass war meine unmaßgebliche Meinung in lang.
In kurz: konservativer Weg wäre über den devicemapper - und möglichst nicht über jmicron, ein so erstelltes Softraid kann man auch an beliebige anderes Systeme anschließen, nur für den Fall dass sich wirklich mal das board verabschiedet. Die bessere Variante ist dedizierte Hardware mit ordentlich Cache und natürlich einer ausreichend großen Pufferbatterie.
Und noch ne saudumme Frage: Bei einem 4-Platten-System hast Du natürlich schon eine Spare-Platte daneben geschraubt oder im Schrank liegen?
Hi ralfi -- Entschuldigen Sie bitte mein englisches Schreiben. Mein deutsches Schreiben ist schrecklich.
If your hardware RAID controller does not have a good-working Linux driver, then you have no hope of setting up RAID that way. As said by melmarker, you can use MD software RAID.
Another choice for you: For 3+ years I have been using a 2-drive BTRFS "RAID" array with siduction for main data storage -- no problems. I recommend for you:
a default BTRFS filesystem across your four drives (https://btrfs.wiki.kernel.org/index.php/Using_Btrfs_with_Multiple_Devices), because "metadata will be mirrored across two devices, and data will be striped across all devices".
It looks like this for me:
root@imerabox:/# blkid -c /dev/null -o list
device fs_type label mount point UUID
---------------------------------------------------------------------------------------------------------------------------------------------
.
.
/dev/sde btrfs (in use) 2bbc4079-e05d-43a3-865b-5b3d3f4af0f5
/dev/sdd btrfs (in use) 2bbc4079-e05d-43a3-865b-5b3d3f4af0f5
and
root@imerabox:/# df -h
Filesystem Size Used Avail Use% Mounted on
.
.
.
/dev/sdd 1.9T 574G 1.3T 31% /mnt/DATA
Ich hoffe, dass dieses für Sie interessant ist.
Hallo ralfi,
wir könnten Dir viel konkretere Tipps geben, wenn Du mal berichten würdest, welche Hardware Du eigentlich einsetzt.
md ist keineswegs die zweite Wahl -- mit mdmon unterstützt es sogar den intel® Matrix Storage Manager™ (imsm).
[english]
md is not neccessarily the second choice -- with mdmon it even supports arrays created by the intel matrix storage manager (imsm).
greetings, redundante Grüße
musca
Nahmd,
und erstmal vielen Dank für die schnellen und informativen Antworten.
Zunächst zur Hardware: Der Controller ist ein Intel Rapid Store SCU Option 3.7.0.10, es sind vier business critical WD 1TB HDDs und noch vier Samsung 500GB SSDs verbaut. Die Büchse soll ein Kvm/Qemu/libvirt Server mit etwa 25 virtuellen Maschinen werden.
Meine hauptsächlichste Frage ist die nach einem sinnvollen und performanten Storage Konzept. Ich habe auf einem anderen System auch schon eine Gluster-Konfiguration mit vier Platten getestet und fand das eigentlich sehr schick und stabil. Bis jetzt habe ich das Basis-System auf einer 30G Partition einer der WD Platten installiert, eine nachträgliche Umbauerei zum RAID 1 mit einer Hilfe einer ebensolchen Partition auf einer der weiteren WD Platten sollte kein Problem sein.
BTRFS RAID 1 habe ich auch schon mal installiert, es soll ja nun auch schon RAID 5 können. Stellt sich die Frage, ob BTRFS RAID oder Gluster System.
ok - das is hübsch, Du weisst, was Du tust, sehr beruhigend :)
Gegen ein Raid 1 auf den WDs spricht nichts, damit es ein wenig geekig wird, kann man ja das Raid 1 über die 4 Platten spannen. - ansonsten kommt es darauf an, was die Maschinen machen sollen. so ohne weitere informationen, was Du vor hast, kann Dir kein Mensch was Vernünftiges sagen. Was ist eigentlich die restliche Ausstattung der Maschine?
hello ralfi,
mdadm seems to be the way to go, MD RAID obeys constraints set in Option ROM and has lots of features implemented,
according to http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/rst-linux-paper.pdf (http://www.intel.com/content/dam/www/public/us/en/documents/white-papers/rst-linux-paper.pdf)
Depending on btrfs is still an experimental thing. I think there are hardly any tools that can do any recovery or forensic job for you.
But hey ... changing a filesystem is always just one restore procedure away.
I would do a combination of md and lvm2 and go for classic filesystem on the volumes.
Minimize the initial capacity of your volumes and allways leave some capacity unused, to be able to extend volumes with lvm2 if needed.
greetings
musca
PS.: Did you know that latest lvm2 can do thin provisioning and features trimming? Oh, endless possibilities...
PPS.: Verdammt, bin bei der Recherche ins englische abgerutscht, sorry.
Moin Moin,
und vielen Dank für alle Hinweise.
RAID 1 für die Systempartition über vier Platten halte ich für eine sehr gute Lösung. Vielleicht reichen aber auch zwei Devices denn die bc Platten sind nach meinen Erfahrungen sehr zuverlässig.
Die Abneigung gegen die eingebauten ism Controller nehme ich gern zur Kenntnis. Habe aber bisher mit solchen Konfigs mit SCSI Devices sehr gute Erfahrungen gemacht, einer der abzulösenden physischen Server von 2008 hat sowas und läuft und läuft und läuft ... übrigens auch mit siduction.
Serverhardware is immer was feines - die Idee mit Raid 1 + 1 für die Systempartition ist recht einfach, die Platten sind eh da und 30-40G tun nicht weh. Und im Endeffekt wird da kaum was geschrieben und lesen sollte recht fix gehen. Und im absoluten Ernstfall kann die Systempartition dann 3 Platten weniger verkraften - ok, dann hat man größere andere Probleme :D
Quote from: ralfi on 2015/01/09, 20:54:55
... Die Büchse soll ein Kvm/Qemu/libvirt Server mit etwa 25 virtuellen Maschinen werden.
One additional point, regarding BTRFS. For dynamically allocated storage, such as VMs, it is necessary to disable copy-on-write for the directory,
before the VMs are moved/saved there. The command is
chattr +C ~/virtualbox (or wherever you keep your VMs).
Hallo siducer allesamt,
nochmals vielen Dank für alle HInweise.
Ich habe mich nun entschlossen, den Bereich der Daten über ein Glusterfs zu realisieren. Das hat viele Vorteile, u.a. die leichte Erweiterbarkeit, replizierte und verteilte Datenhaltung, das relativ flache und sehr performante Fuse Overlay und die Möglichkeit, die Platten weiterhin über S.M.A.R.T zu überwachen. Zudem hat man die Möglichkeit, auf die Daten auch ohne GlusterFS zuzugreifen. Auch kann ich für die KVM/QEMU-Festplattenimages dann ein gemeinsames Storage auch für mehrere Server-Knoten zur Verfügung stellen.
Zu Testzwecken habe ich eine GlusterFS Konfiguration mal über zwei QEMU Images getestet und bei einem Kopiervorgang auf das Shared Storage eine VM hart ausgeschaltet. Bis auf drei Sekunden Nachdenken beim Kopiervorgang hat das überhaupt keine Auswirkungen, nach dem Anschalten des zweiten Knotens wurde anstandslos repliziert und ich konnte keine Probleme feststellen.
Was ich aber nicht verstehe ist der Hinweis von melmarker dass man die Systempartition mit RAID 1 über vier Partitionen spannen kann. Wie könnte das gehen?
2 Platten Raid 1 + 2 Platten Raid 1 - und das in ein Raid 1 packen. Hab ich zwar noch nicht gemacht, sollte aber funktionieren.