Side 2 af 2
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 09:40
af Kleth
Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter
bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 09:43
af Ingsorsi
Kleth skrev: ↑26. sep 2018, 09:40
Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter
bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre
OK. Er glacier ikke ret meget dyrere?
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 09:57
af Kleth
På papiret jo, men det afhænger i høj grad af hvor effektivt det kan bruges mht de-duplication.
Der er også nogle muligheder med at bruge free-tier EC2 instanser til management.
Nu hvor jeg har en backup, så kan jeg lidt bedre eksperimentere og få afprøvet andre teknologier.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 10:48
af PSindrup
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 11:08
af Bofhenator
PSindrup skrev: ↑26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
Jeg har noget og har en kammerat der er 100m mester, er det noget specifikt du tænker på?
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 11:09
af Kleth
PSindrup skrev: ↑26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 12:05
af PSindrup
Kleth skrev: ↑26. sep 2018, 11:09
PSindrup skrev: ↑26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Tak.
Behovet er langtidsbackup at mine mange billeder uden krav om her og nu restore.
Peter
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 12:39
af Kleth
I dit tilfælde ville jeg nok se på en mere etableret backup service f.eks. Backblaze eller Backblaze B2.
Der er flere andre glimrende backup-tjenester der ude.
Jeg har +300GB på Backblaze B2 og jeg er bundet af nogle ret begrænsede klienter da jeg kører Linux
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 17:13
af PSindrup
Hvad er forskellen på backblaze og backblaze B2?
Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS
Peter
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 26. sep 2018, 17:23
af Kleth
PSindrup skrev: ↑26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?
Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS
Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 10:55
af PSindrup
Kleth skrev: ↑26. sep 2018, 17:23
PSindrup skrev: ↑26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?
Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS
Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Tak
Det er et ufravigeligt krav at backupen kører fra NASen. Jeg skal ikke have en PC stå og knurre i månedsvis for at køre backup. Min PC tager automatisk backup til NAS og derfra ud i "skyen"
Peter
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 11:14
af Kleth
Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 11:22
af Ingsorsi
Kleth skrev: ↑27. sep 2018, 11:14
Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Er den virkelig? Den er længder hurtigere end duplicity hos mig. Og endda multitrådet.
Men dens sftp backend er ubrugelig langsom.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 12:34
af Kleth
Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 12:49
af Ingsorsi
Kleth skrev: ↑27. sep 2018, 12:34
Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Jeg er selv i gang med at udskifte mine lokale backups fra rsync til restic - faktisk som konsekvens af, at jeg må konkludere at hastigheden er meget bedre på restic.
Men ja, på B2 er der nogle latency issues. Jeg er temmelig sikker på, at de enten er i selve B2 eller i B2 access modulet til restic - og ikke selve restic selv.
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 12:59
af Kleth
Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 13:12
af Ingsorsi
Kleth skrev: ↑27. sep 2018, 12:59
Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.
Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 15:11
af PSindrup
Det er bare SÅ ærgerligt at Crashplan ikke længere er tilgængelig for private. Fpor det spillede bare ...
Peter
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
: 27. sep 2018, 15:26
af Kleth
Ingsorsi skrev: ↑27. sep 2018, 13:12
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.
Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
4/5 af det jeg har er billeder i ret god opløsning og noget video i SD format, samt nogle archive filer, så jeg har hverken store problemer med redundante filer eller store mængder små filer. Stort set alle små filer er damlet i archives. Jeg er så glad for rsync at jeg sågar bruger rsync i stedet for mv og cp når der er tale om filstrukturer
