Digitális világban a mentés fontossága

 Digitális világban a mentés fontossága

Utolsó frissítés: 2022.03.17.


MANAPSÁG A DIGITÁLIS VILÁGBAN A MENTÉSNEK KIEMELT FONTOSSÁGA VAN!
Az idő múlását a lepergő homokszemek mutatják, a technika fejlődése pedig az óriások csizmájában száguld!

Hogyan is kezdődött nálam a fotós digitális világ?

A dátumra már nem emlékszem, jó régen volt, kb. 1950-es évek vége, a 1960-es évek elején?
Már gyerek koromban érdekelt a fényképezés, na persze kezdetekben volt a negatív fekete-fehér film (6 x 9 cm, majd a 35 mm kisfilm). Én a "Pajtás" box fényképezőgéppel kezdtem.
Azután jött a Smena (orosz), ennek automata változata, ez volt talán az utolsó filmes gépem.
A negatívot követte a színes-dia, nagyon sokáig ezt alkalmaztam és összegyűjtöttem kb 2000 bekeretezett dia képet, ennek tárolása, sok-sok dobozban, ehhez dia-vetítő is kellett, sok helyet foglalt és az idő múlásával a diák minősége folyamatosan romlott. Vásároltam egy digitalizálót és átalakítottam digitális képekké, ma így tárolom őket.


Mellette elkezdtem a saját fotó-laborálást, kezdetben fekete-fehér papír képek, majd a színes technika megjelenésével a színes papír kép kidolgozását is megtanultam. Ezt olyan magasz szintre fejlesztettem, hogy az 1970-80-as években a "hatalmas" BM-dolgozói fizetésem kiegészítéséhez (engedély nélkül, munkaidőn kívűl esténként és hétvégenként, így tudtam akkor vásárolni egy LADA 2001-est, amit 28 évig használtam) egy maszek fényképésznek dolgoztam az Ő laborjában, ő fényképezett (esküvőzött, gyerek fotókat készített) én pedig kidolgoztam, majd kiszállítottam az ügyfeleknek.
Az idő múlásával megjelent a digitális világ, először videó-kamera-val (filmes, majd szalagos, Super8), majd digital8 kamerákkal), ezen felvételeket vetítővel (S8), majd TV-n VHS kazettára konvertálva kezdődött.

Az első digitális fényképező kamerám egy 0,8 Mpixeles HP kamera volt, ebbe ha jól emlékszem 2 GB-os SD kártyára rögzítődnek a képek, amiknek mérete 1MB/kép alatti helyet foglaltak, ezeket a képeket már számítógép adathordozókon (SD, vagy MemoriSteek) és amikor már a tárolásra ezek az eszközök nem voltak elegendők, akkor a PC belső adattárolóján (HDD), majd amikor ezt is kinőtem, jöttek a külső USB-tárolók, amiknek a mérete folyamatosan növekedett 1TB-ig, majd ezek száma kezdett szaporodni, ehhez pedig a PC USB portját kellett sokszorozni (HUB), természetesen a sebesség nem volt mindegy, így az USB-2, ről át kellett térni az USB-3 portra, és HUB-ra, na és amikor már a 4x1TB is kevés lett, na akkor bekövetkezett egy technikai ugrás.
Ugye írtam az első digitális kamerám 0,8 Mpixelt tudott, a mai már 24 Mpixelt tud (Nikon-ok), na de a képek mérete az 1 MB-ról megnövekedett ám rendesen 6-20 MB/kép-re! Mit eredményez a technikai fejlődés? a tárolóhelyek méret igényének folyamatos bővítését, a videókról nem is szólva, na ezek igazán a tároló-falók!
Nézzük, hogy alakultak a méretek:
  • VOB (DV)  6 perc 253 MB;
  • HD 4 perc 600 MB;
  • HD 30 perc 1 GB;
  • FHD 6 perc 1 GB;
  • UHD (4K) 6 perc 4GB, és így tovább.
Egyenlőre a 8K még nem érdekel, hiszen a TV-m csupán 4K-t tud!
USB-3 HUB és
 4x 1TB külső tároló

4x1TB külső USB-3 tárolótömb

A Laptop asztal környezet
kezdett kuszává válni

Az Internet is változott üvegszálra 1Gbit/s
Az áram ellátás is kezd bonyolódni
ma már UPS is kellett az adattároláshoz
Egy hordozást jól tűrő
(honvédségi külső USB-3, 1TB)

A Windows segített a tárolótömb
kezelésében, de ezt is kinőtem.

Na és akkor hogyan tovább?


Akkor úgy gondoltam, elegem van a külső USB-s adattárolók kezelésének problémaköréből, a kusza madzag halmaz az asztalon, stb.
Vásároltam egy külső merevlemez dokkolót, ami USB-3-al csatlakozott a PC-hez, ez kiváltotta a 4x 1TB-os lemezcsomagokat 2x 2TB-os lemezcsomagra.

Egy darabig elvoltam vele, de nem volt adatmentésem, ha hiba keletkezett volna a merevlemezeken, bizony akkor adatvesztés lett volna a következménye.
Tehát megoldást kellett találnom a biztonsági adatmentésre. Ideiglenesen a már meglévő 4x 1TB-os USB külső adattárolókat használtam, de ezek kezelése, szinkronban tartása a fő tárolóval nagyon körülményes volt, de főleg időben nagy volt mindig az elmaradásom a mentésekben.


2019. februárjában meghoztam egy döntés, elég volt az USB-s adattárolókból, helyette NAS-t vásároltam. Úgy gondoltam, hogy 4 TB tároló kapacitás évekre elegendő lesz, hát tévedtem, a múlt héten elfogyott a hely, azaz 3 évig csend és nyugalom volt.

Mi ez a NAS?

Egy olyan külső adattároló eszköz, amely egy belső hálózaton érhető el, de lehetőséget ad külső Interneten keresztüli elérhetőségre (felhő). Nagy sebességű adatelérést tesz lehetővé, nagy tároló kapacitást biztosítva, továbbá hibatűrő (én RAID1-et használok) adattárolással, az adatok biztonságos (olvasható) tárolását adva.
Persze sokféle eszköz létezett már 2019-ben, de árakban nagy volt a szórás (ma is), a pénztárcámhoz igazítottam, korlátozva az igényeimet, kisebb tárolási kapacitással, sebességgel, biztonsági másolatot pedig egy külső dokkolót (USB-3) használtam, így került a választásom a Terra-Master.com 2 fiókos eszközére (F2-220) és 2x 4TB-os NAS-ba javasolt WD 3,5" diszkekkel, így az adattároló tömböm 4TB tárolóhelyet biztosított, hibatűrő biztonsággal, a hálózat és a PC között 130 MB/s átviteli sebességgel.

Na persze ez sem volt probléma mentes eszköz, főleg, ha szoftver frissítés jön, mindig bekövetkezhet a krakk, egy ilyen történetet már megosztottam korábban (2020. november).

A NAS biztonsági mentésére a már meglévő USB-külső dokkolót használtam a 2x 2TB-os lemezekkel, ezek szinkronban tartása továbbra is problémás volt, a mindig jelentős lemaradások miatt.

Na és bekövetkezett, aminek be kell következnie (tudtam előre, de mindig halogattam a megoldást!), a múlt héten elfogyott a NAS 4TB-os tároló területe.

Hogyan tovább?

A pénzforrás most is korlátozott, tehát megint csupán elodáztam a megoldást, de reménykedem, hogy 2-3 évet nyertem.
Mekkora legyen a NAS és hogyan fogom menteni? 8TB-os lemezek már kaphatók, de ezek igencsak borsos áron vásárolhatók (már amik NAS-ba valók!), ennyi pénzem nem volt, így lejjebb kellett adnom, azaz 6TB-os adatterületet terveztem. Rendben, de ugyebár van jelenleg 2x 2TB és plusz 2x 4TB-os lemezeim, ezeket ugye nem dobom ki, tehát a következőt terveztem meg (most futnak az adatmásolások, a teljes rendszer beüzemelése, adatmentési rendszer létrehozása). A megoldásom:
  • vásároltam egy új NAS-t 4 fiókkal (Terra-Master F4-210),
  • vásároltam 2.db. 6TB-os WD lemezt NAS-ba valót,
  • 2 fiókba került az új 6TB-os, a másik 2 fiókba pedig a meglévő 2.db. 4TB-os lemez.
  • a meglévő 2 fiókos NAS-ba kerül majd az USB-dokkolóban lévő 2.db. 2TB-os lemez.
  • az USB dokkoló egyenlőre funkció nélküli, de van egy halom belső lemezcsomagom, amiket ebbe dugva tudom majd használni.
Aluk 6+4 TB, felül 2TB tároló

A 4TB-nyi adathalmaz az USB-dokkolóban lévő 2x 2TB-os területen van, beüzemeltem az új NAS-t a 6TB és 4 TB-os adattömbökkel. Az adatokat átmásolom (folyamatban van még, hiszen 16 óra a 4TB átmásolása az új tárolóra. A 6TB-ot felosztottam 4TB és 2 TB területekre, a 2TB-os területre helyeztem át azokat az adatfájlokat, amiknek a mentése nem kritikus, így helyet nyertem a 4TB-os területen. Mivel a NAS hibatűrős, így biztonságban vannak a nem kritikus adatfájlok is, hiszen, ha az egyik lemezcsomag meghibásodna, akkor ennek cseréjével a rendszer visszatükrözné az új lemezre.
Viszont a kritikusnak kinevezett adatfájlok tárolására marad a 4TB-nyi terület, és ennek lesz biztonsági mentése a 4TB-os fiókban. Azért a 2TB-os nem kritikusakat sem hagyom magukra, ezekről biztonsági mentést fogok készíteni a régi (meglévő) NAS-ba bekerülő 2TB-os adatterületen.

Nos itt tartok a másolások, telepítések, és a biztonsági mentés rendszer kialakításán dolgozom még pár napig. A biztonsági mentéseket is automatizálni fogom, a NAS adta "rsync" szolgáltatással, már kipróbáltam, szuperül működik.
Nem esett még róla szó, de a NAS-t a TERRA-Master SAMBA megosztásával érem el a Windows11 alatt, továbbá telefonos APP-jával az Interneten bárhol távolról. Mivel a két NAS azonos töröl származik, így az együttműködésük is hibátlan.


Na és amikor hiba csúszik a tervbe?

A 4 fiókos új NAS elsődleges tárolója elkészült, átmásoltam mindent a 2x 2TB-os USB mentésről, viszont elkövettem egy felelőtlenséget, nem készítettem el a teljes NAS biztonsági mentését (tükrözését). a NAS rendszert
Nekiláttam a régi NAS telepítésének, ugyebár az USB mentés (2x 2TB) adatlemezeit bedugtam a NASD-ba, bekapcsolom, és a NAS hibát jelez a lemezekre, azt állítva, hogy a lemezek nem megfelelőek, piros ledekkel és hangos sípolással jelezve, hogy nem tetszik neki a régi lemez.
És akkor a felelőtlen, átgondolatlan kapkodás következett. le szerettem volna állítani az új NAS-t, de a leállítási utasítást nem igazolta vissza, valószínű azért mert a RAID1 párjának szinkronizálás még nem történt meg. Kiszedtem a 2x 4TB-os régi lemezt, ami a biztonsági mentésnek terveztem és készítettem elő, erre, egyből hibajelzést kaptam, hogy eltávolítottam a 2 lemezt, de lekezelni már nem tudtam, mert valamit mégis értelmezett a leállítási utasításból, így aztán a kezelő felület már nem volt elérhető.
Telepítettem a régi NAS-ba a 2x 4TB kiszedett lemezt, ezeket felismerte, telepítette a Tartalék NAS rendszert. A régi USB 2x 2TB lemezeket bedugtam az új NAS-ba, ezt a rendszer úgy néz ki elfogadta, mert zöld LED-el jelezte, hogy van lemez a rároló fiókokban. Viszont semmit nem tudtam az állapotukról, hiszen elvesztettem a kapcsolatot a rendszerével.

Viszont a Windows-ban még elérhetők maradtak a SAMBA megosztások, gyorsan elindítottam egy másolást a Windows-ban, ugyan ez sokkal lassabb mint a NAS Sync biztonsági mentése, de reménykedem, hogy valameddig eljut a másolásban, hátha végig fut és a lényegről 4TB adathalmazomról lesz egy másolat is, na ez fut még most is, a másolás azt jelzi, hogy van még hátra 14 óra és 3,2TB. Na most küldött egy értesítést a lehalni látszó NAS (6TB), jelezve, hogy elvégezte a synkronizálást, azaz elvileg a RAID1 tömb egyforma, hogy ez, hogy fog folytatódni, reggel leírom, a másolást hagyom futni (3%-on áll most; 20:45-kor).

Megszületett a teljes tárolási, mentési rendszer, a mentések is elvégezve, a "rsync"-ek is beállítva, napi gyakoriságú automatikus mentéssel.
Tehát van 6TB-nyi adattárolóm, ami Raid1-ben hibatürő (2,pld.) tárolás, plusz van ennek 6TB-nyi biztonsági másolata, ami szintén RAID1 hibatűrő tömb.
Verzió:1

Miért fejlődött tovább, holott már kész volt minden és működött is már 1 egész napig?

Sokkal jobb teljesítményt is el lehet érni, csak meg kell ismerni a NAS szolgáltatásait, lehetőségeit, na meg utána kell olvasni a RAID működésének!

A lényeg:
  • szóval a RAID1 hibatűrő tárolási módszer, mindent 2x tárol, két különböző lemezen, azaz, ha az egyik lemez meghibásodik, az adatok továbbra is elérhetők és lehetőséget ad a meghibásodott lemez cseréjére, majd visszaállítja a másodpéldányt.
  • Viszont a RAID1 1/2 írássebességet biztosít, mivel 2x kell mindent felírni.- A NAS ezt úgy gyorsítja fel, hogy felírja az egyik lemezre, és megjegyzi, hogy ez még nincsen felírva a másodikra, és amikor van ideje akkor szinkronizálja a másodpéldányt.
  • a RAID0 nem hibatűrő, azaz, ha bármelyik lemezzel hiba keletkezik, az egész elveszik, tehát gondoskodni kell mentésről! Viszont a két lemezre való írást elosztja (megfelezi a mennyiséget) és egyszerre két lemezre ír, ezáltal az írás sebessége 2x-es lesz! És ez a lényeg, így gyors elérés lesz!
  • Mivel a RAID0 nem hibatűrő, így egy másik NAS-on RAID-et használva, ha erre mentünk (rsync), akkor, ha az eredetivel hiba keletkezik, akkor a veszteség csupán az utolsó rsync utáni módosítások) vesznek el, a veszteséget úgy lehet csökkenteni, hogy a rsync ciklus idejét rövidebre kell venni, mint 1 nap!
A telepítések során, jobban megismerkedtem a Terra-Master NAS szolgáltatásaival és most az újratelepítést követően a következő szolgáltatásokat veszem igénybe:
  • adattárolás (RAID0 és RAID1)
  • Windows fájl-hozzáférés a NAS SMB (Samba) szolgáltatással
  • rsync - ütemezett adatmentések RAID0-ról RAID1-re, két NAS között
  • NFS - a NAS-ok közötti fájlátvitelre
  • Multimédia szerver - (képek, videók, hangok) lejátszása DLNA/UPnP eszközökön (pld. okosTV)
  • Ms OneDrive felhőszolgáltatás tükrözése (Online rsync)
  • FTP/SFTP - fájlátviteli szolgáltatás
  • SSH - biztonságos adatkapcsolat
  • MobilApp - Mobiltelefonon a NAS-ok elérése
  • Interneten, távoli NAS-ok elérése.
Egyenlőre ennyi szolgáltatást veszek igénybe, ettől még sokkal több alapszolgáltatás kívál a Terra-Master NAS, pld:
  • Mail-szerver
  • WEB szerver
  • DNS szolgáltató
  • Proxy szerver
  • VPN szerver
  • PHP szerver
  • Mac kapcsolat
  • NextCloud
  • GoogleDrive rsync
  • Git, perl5, WordPress, stb.
  • és még számtalan más alkalmazást

Ja és számomra egy fontos, hogy a WEB-es kezelőfelület, MAGYAR nyelvű!

Néhány kép a WEB-es felületről, ebből képet alkothatsz magadnak, hogy kb. mit tud, és mennyire bonyolult, mindez magyar nyelven!

 

 

 

 

 

Mentési rendszer Verzió 3.0

A változás lényege:
  • a 8TB-os tömb, ami Raid0 (nem hibatűrő összefűzés), cserére kerül(t) 2x8TB lemezre, így RAID1 (hibatűrő) lesz.
  • A NAS2-ben lévő 2TB (RAID1) cserére kerül 4TB (RAID1) tömbre, így itt összesen 10TB kapacitás keletkezik, amiből 6TB a mentés, és + 2TB (hibatűrő) archív (nem változó) tartalomnak ad helyet.

És amikor úgy gondolod, mindenre gondoltál, mindent megoldottál, jön egy szoftver frissítés, és kezdheted elölről! Digitális világban a mentés fontossága 2.rész

Megjegyzések

  1. Hello! Emagra is irtam, megkérdezhetem, miért ezt a NAS-t választottad? Plex szolgáltatást tartalmaz a csomag? (Ugy értem, azt tudom hogy van hozzá, de valalmilyen előfizetést tartalmaz-e? Része-e a csomagnak?) Kamerarendszer köthető rá? Esetleg szóba jött-e nálad a Synology 420j?

    VálaszTörlés
    Válaszok
    1. Üdvözöllek.
      A választáskor a nekem szükséges szolgáltatások voltak a szempontok, az ára jó volt (kb. fél ára volt, ma is!), 3 éve vettem az elsőt: TerraMaster F2-220, 2 fiókos és Raid1-et terveztem és használtam, míg ki nem nőtem, ez következett be most. Most viszont már volt bőven tapasztalatom, nagyon megbízható az eszköz és számomra bőven elegendő a szolgáltatása, csak töredékét használom. Most célszerű volt azonos márka és széria vásárlása, a régi lemezeket is használni akartam, ezért választottam a 4 fiókos változatot. A TNAS-hoz, semmilyen előfizetés nem tartozott (e.digital), tudtommal ma sem (eMag).

      Törlés
  2. Én most a Terramaster F4-210 és a Synology 420j között vaccilláltam. (Tegnap vettem át, de ha a Terramster jobb választás, még vissza lehet küldeni. :-)) Végül a Synology mellett döntöttem, hasonló okok miatt. Már van egy 2 lemezes DS214se, most azt fogom ezzel leváltani. A 420j tartalmaz 2 kültéri kamera hozzáférést is nekem ez is fontos volt, a ház biztonsága miatt. Ezért is kérdeztem, hogy a Terramaster pl. tartalmaz -e kültéri kamera szolgáltatást. Pl. software van-e rá? Illetve az SHR (Synology Hibrid Raid) is sokat nyom a latba: pl: 3+3+4+4 TB az 10 TB tárolókapacitást jelent, 4 TB van adatvédelemre. Ugyanez 4+4+6+6= 14 TB (Az első kombinációval fogom kezdeni, végül 6*4 TB = 18 TB tárolókapacitást szeretnék.)

    VálaszTörlés

Megjegyzés küldése

Népszerű bejegyzések ezen a blogon

Németország, Königsee

Magyar Állami Földtani Intézet

Nemzeti Kastély Program I.Ütem lezárása (2023.12.17.) állapotok, tapasztalatok