[Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Alt om software, sikkerhed, kryptering m.m. Spørg og der er sikkert en der kan hjælpe.
Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 09:40

Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter :oops: bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del :smile:
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre :smile:
“Another visitor! Stay a while; stay forever!”

Ingsorsi
Silver Member
Silver Member
Indlæg: 300
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 68 times
Been thanked: 28 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 26. sep 2018, 09:43

Kleth skrev:
26. sep 2018, 09:40
Jeg har to snapshots liggende, prisen er yderst overkommelig og ellers har jeg ikke rigtigt andet at tilføje.
Egentligt burde jeg forsøge en recovery på et andet system, og det kniber med tiden p.g.a. kurser, arbejde, jagt, skydebane og familie-aktiviteter :oops: bl.a. ryger den kommende weekenden på hhv. skydeleder og riffelinstruktør faglig del :smile:
Lige nu er jeg ved at tage nogle AWS-certificeringer, så jeg har lidt øjnene på at skifte til AWS-Glacier, mængden af training og dokumentation på AWS Glacier er MEGET bedre :smile:
OK. Er glacier ikke ret meget dyrere?

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 09:57

På papiret jo, men det afhænger i høj grad af hvor effektivt det kan bruges mht de-duplication.
Der er også nogle muligheder med at bruge free-tier EC2 instanser til management.
Nu hvor jeg har en backup, så kan jeg lidt bedre eksperimentere og få afprøvet andre teknologier.
“Another visitor! Stay a while; stay forever!”

PSindrup
Platin Member
Platin Member
Indlæg: 2447
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1236 times
Been thanked: 148 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 10:48

Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Bofhenator
This member is
This member is
Indlæg: 4821
Tilmeldt: 22. apr 2010, 22:01
Interesser: Pistol, Riffeljagt, Genladning
Geografisk sted: Nordsjælland
Has thanked: 884 times
Been thanked: 737 times
Kontakt:

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Bofhenator » 26. sep 2018, 11:08

PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
Jeg har noget og har en kammerat der er 100m mester, er det noget specifikt du tænker på?
/bofh
Death is not the worst thing that can happen to men.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 11:09

PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
“Another visitor! Stay a while; stay forever!”

PSindrup
Platin Member
Platin Member
Indlæg: 2447
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1236 times
Been thanked: 148 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 12:05

Kleth skrev:
26. sep 2018, 11:09
PSindrup skrev:
26. sep 2018, 10:48
Er der nogen af jer der har erfaring med Amazon Glacier?
Det er, så vidt jeg kan se, langt den billigste løsning, hvis man har store mængder data.

Peter
AWS Glacier er 0,001$ billigere per GB/Måned i storage end Backblaze B2, men AWS Glacier koster 0,055$ per 1000 uploads her under multipart uploads. Glazier er beregnet til langtids backup/archiving af data, så restore kan ikke forventes at være synkron, så det afhænger af formålet med de store mængder data.
Tak.
Behovet er langtidsbackup at mine mange billeder uden krav om her og nu restore.

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 12:39

I dit tilfælde ville jeg nok se på en mere etableret backup service f.eks. Backblaze eller Backblaze B2.
Der er flere andre glimrende backup-tjenester der ude.

Jeg har +300GB på Backblaze B2 og jeg er bundet af nogle ret begrænsede klienter da jeg kører Linux
“Another visitor! Stay a while; stay forever!”

PSindrup
Platin Member
Platin Member
Indlæg: 2447
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1236 times
Been thanked: 148 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 26. sep 2018, 17:13

Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 26. sep 2018, 17:23

PSindrup skrev:
26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
“Another visitor! Stay a while; stay forever!”

PSindrup
Platin Member
Platin Member
Indlæg: 2447
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1236 times
Been thanked: 148 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 27. sep 2018, 10:55

Kleth skrev:
26. sep 2018, 17:23
PSindrup skrev:
26. sep 2018, 17:13
Hvad er forskellen på backblaze og backblaze B2?

Jeg skal, i parantes bemærket, “kun” køre backup’en fra en NAS

Peter
Backblaze B2 er mere som AWS S3 altså et rimeligt simpelt lager, med muligheden for at oprette buckets og snapshots.
Backblaze er dyrere men kommer med en fin Windoze klient.
Du skal nok kontrollere hvilke/hvilken backup klient der er til din NAS, ellers må du køre en backup klient fra en PC der har mountet den share på NASen.
Tak

Det er et ufravigeligt krav at backupen kører fra NASen. Jeg skal ikke have en PC stå og knurre i månedsvis for at køre backup. Min PC tager automatisk backup til NAS og derfra ud i "skyen"

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 11:14

Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
“Another visitor! Stay a while; stay forever!”

Ingsorsi
Silver Member
Silver Member
Indlæg: 300
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 68 times
Been thanked: 28 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 11:22

Kleth skrev:
27. sep 2018, 11:14
Med Restic stod min server og knurrende i 36t for at seede min backup med de initielle >300Gb over en 25mbit/s COAX-forbindelse.
Restic er så berygtet for at være sløv.
Er den virkelig? Den er længder hurtigere end duplicity hos mig. Og endda multitrådet.
Men dens sftp backend er ubrugelig langsom.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 12:34

Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
“Another visitor! Stay a while; stay forever!”

Ingsorsi
Silver Member
Silver Member
Indlæg: 300
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 68 times
Been thanked: 28 times

Re: [Spørgsmål]Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 12:49

Kleth skrev:
27. sep 2018, 12:34
Jeg forholder mig til Restic<->B2 hastigheden og de artikler jeg har læst. Hvis det er B2 der er flaskehalsen, så har jeg ikke ret og det ville ikke være første gang. Jeg anvendte Crashplan før og deres klient var en hel del hurtigere, men hvad der er B2 og Restic har jeg endnu ikke kunne adskille, men imponeret er jeg ikke. Intern backup er med rsync og det er jeg rigtig glad for, så det er måske også derfor at jeg syntes at restic er sløv.
Jeg er selv i gang med at udskifte mine lokale backups fra rsync til restic - faktisk som konsekvens af, at jeg må konkludere at hastigheden er meget bedre på restic.
Men ja, på B2 er der nogle latency issues. Jeg er temmelig sikker på, at de enten er i selve B2 eller i B2 access modulet til restic - og ikke selve restic selv.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 12:59

Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
“Another visitor! Stay a while; stay forever!”

Ingsorsi
Silver Member
Silver Member
Indlæg: 300
Tilmeldt: 17. nov 2015, 20:49
Interesser: Jagt
Geografisk sted: Roskilde / København
Has thanked: 68 times
Been thanked: 28 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Ingsorsi » 27. sep 2018, 13:12

Kleth skrev:
27. sep 2018, 12:59
Med rsync ser jeg at det primært er NIC hastigheden på mine ARM baserede rsync targets som sætter begrænsningen, og derfor har jeg ikke set på at prøve Restic i stedet.
Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.

Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.

PSindrup
Platin Member
Platin Member
Indlæg: 2447
Tilmeldt: 16. feb 2015, 20:56
Interesser: Lerdueskydning, salonrifler mm
Geografisk sted: Stenlille, midtsjælland
Has thanked: 1236 times
Been thanked: 148 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af PSindrup » 27. sep 2018, 15:11

Det er bare SÅ ærgerligt at Crashplan ikke længere er tilgængelig for private. Fpor det spillede bare ...

Peter
Våben hører til på jagten, på skydebanen og i våbenskabet.

Brugeravatar
Kleth
This member is
This member is
Indlæg: 4529
Tilmeldt: 27. mar 2013, 15:20
Interesser: Jage,Skyde,Ammo&Historie
Geografisk sted: Nordsjælland
Has thanked: 802 times
Been thanked: 533 times

Re: [Spørgsmål] Cloud-backup til Linux eller erfaringer med Backblaze B2

Indlæg af Kleth » 27. sep 2018, 15:26

Ingsorsi skrev:
27. sep 2018, 13:12

Ja, det er det såfremt der er tale om store filer. Men så er der eet vigtigt aspekt mere: deduplikering og kompression. Jeg har bl.a. godt 1 TB data i form af subversion repositories og checkouts. Det har en ekstrem høj grad af duplikation (er det et ord?). Her kan rsync kopiere det så hurtigt som mit I/O device (om det så er netkort eller en lokal disk) kan tage imod data. MEN restic kan tilsyneladende gøre det hurtigere. Måske med 80 % af den hastighed som I/O devicet kan æde data (jeg har ikke faktisk benchmarket det endnu - men det gør jeg når jeg får mulighed), men skal så kun skrive måske 30-50% af den samlede mængde data pga. deduplication.

Et andet aspekt er, at jeg har et filsystem med _mange_ små filer (så mange at df -i var relevant på et tidspunkt). Her var rsync også langsom til at overføre, fordi den tilsyneladende ventede på at hver eneste fil blev kreeret ovre på destination siden før den gik i gang med at læse næste source fil. Her er restic meget hurtigere, fordi den ikke skal lave filerne ovre på destinationen, bare tilføje til en database.
4/5 af det jeg har er billeder i ret god opløsning og noget video i SD format, samt nogle archive filer, så jeg har hverken store problemer med redundante filer eller store mængder små filer. Stort set alle små filer er damlet i archives. Jeg er så glad for rsync at jeg sågar bruger rsync i stedet for mv og cp når der er tale om filstrukturer :giggle:
“Another visitor! Stay a while; stay forever!”

Besvar