[Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
OK. Er glacier ikke ret meget dyrere?Kleth skrev: ↑26. sep 2018, 09:40Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
På papiret jo, men det afhænger i høj grad af hvor effektivt det kan bruges mht de-duplication.
Der er også nogle muligheder med at bruge free-tier EC2 instanser til management.
Nu hvor jeg har en backup, så kan jeg lidt bedre eksperimentere og få afprøvet andre teknologier.
Der er også nogle muligheder med at bruge free-tier EC2 instanser til management.
Nu hvor jeg har en backup, så kan jeg lidt bedre eksperimentere og få afprøvet andre teknologier.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.
Peter
- Bofhenator
- Moderator
- Indlæg: 9702
- Tilmeldt: 22. apr 2010, 22:01
- Interesser: Pistol, Riffeljagt, Genladning
- Geografisk sted: Nordsjælland
- Has thanked: 1726 times
- Been thanked: 2152 times
- Kontakt:
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg har noget og har en kammerat der er 100m mester, er det noget specifikt du tænker på?
/bofh
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
"never attribute to malice that which is adequately explained by stupidity"
Hanlons razor
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Tak.Kleth skrev: ↑26. sep 2018, 11:09AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Behovet er langtidsbackup at mine mange billeder uden krav om her og nu restore.
Peter
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
I dit tilfælde ville jeg nok se på en mere etableret backup service f.eks. Backblaze eller Backblaze B2.
Der er flere andre glimrende backup-tjenester der ude.
Jeg har +300GB på Backblaze B2 og jeg er bundet af nogle ret begrænsede klienter da jeg kører Linux
Der er flere andre glimrende backup-tjenester der ude.
Jeg har +300GB på Backblaze B2 og jeg er bundet af nogle ret begrænsede klienter da jeg kører Linux
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Hvad er forskellen på backblaze og backblaze B2?
Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS
Peter
Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS
Peter
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
TakKleth skrev: ↑26. sep 2018, 17:23Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Det er et ufravigeligt krav at backupen kører fra NASen. Jeg skal ikke have en PC stå og knurre i månedsvis for at køre backup. Min PC tager automatisk backup til NAS og derfra ud i "skyen"
Peter
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Restic er så berygtet for at være sløv.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Er den virkelig? Den er længder hurtigere end duplicity hos mig. Og endda multitrådet.
Men dens sftp backend er ubrugelig langsom.
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2
Jeg er selv i gang med at udskifte mine lokale backups fra rsync til restic - faktisk som konsekvens af, at jeg må konkludere at hastigheden er meget bedre på restic.Kleth skrev: ↑27. sep 2018, 12:34Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Men ja, på B2 er der nogle latency issues. Jeg er temmelig sikker på, at de enten er i selve B2 eller i B2 access modulet til restic - og ikke selve restic selv.
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”
- Ingsorsi
- Gold Member
- Indlæg: 883
- Tilmeldt: 17. nov 2015, 20:49
- Interesser: Jagt
- Geografisk sted: Roskilde / København
- Has thanked: 215 times
- Been thanked: 153 times
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.
Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
-
- UDMELDT AF NVF
- Indlæg: 5497
- Tilmeldt: 16. feb 2015, 20:56
- Interesser: skydning
- Geografisk sted: danmark
- Has thanked: 5632 times
- Been thanked: 537 times
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
Det er bare SÅ ærgerligt at Crashplan ikke længere er tilgængelig for private. Fpor det spillede bare ...
Peter
Peter
- Kleth
- Platin Member
- Indlæg: 5290
- Tilmeldt: 27. mar 2013, 15:20
- Interesser: Jage,Skyde,Ammo&Historie
- Geografisk sted: Nordsjælland
- Has thanked: 971 times
- Been thanked: 725 times
Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2
4/5 af det jeg har er billeder i ret god opløsning og noget video i SD format, samt nogle archive filer, så jeg har hverken store problemer med redundante filer eller store mængder små filer. Stort set alle små filer er damlet i archives. Jeg er så glad for rsync at jeg sågar bruger rsync i stedet for mv og cp når der er tale om filstrukturerIngsorsi skrev: ↑27. sep 2018, 13:12
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.
Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
Maxim #28: “If the price of collateral damage is high enough, you might be able to get paid for bringing ammunition home with you.”