Og her faller man inn i et annet problem - nemlig den tragiske opplastingshastigheten mange besitter... et bilde er gjerne 4 MB (3888x2592 pixel) gang det med xxxx ? En flac/ape/wav passerer fint 40MB, en 320kbps mp3 +/- 20 MB. La oss si man har et par hundre mp3 og 500 bilder - det skal ta tid det med Ola og Karis linjer.... og mange har nok adskillig mer enn dette lagret.
Backup av flac er vel for spesielt intersserte, eg har slutta med ekstern backup av slikt som ein finn andre stader på nettet for lenge sidan (musikk & filmer/serier). Den initielle backupen tar jo fort nokre veker (hos meg i allefall), men PC'en står no der allikevel. Etter det fungerer det sømløst, treng ikkje tenke på det i det heile.
I eksempelet med router/USB kombinasjonen jeg nevnte kan man også automatisere backupen, et program som feks. Second Copy er lett å bruke til oppgaven. Og med en USB disk så er vel muligheten til å ta med dataene ut av huset dekt ? Og også billigst i lengden ?
Billigst med USB ekstern disk ja, men har ein under 200 GB kostar det kr. 300 i backup eksternt i skya i året. Og ein slepp flytte på ein USB disk inne og ut av huset kvar gang ein har lagt bilder ned på disken. Det einaste som er sikkert med manuelle rutiner er at dei blir utsett, hoppa over og gløymt! Snakkar av egen erfaring.
Dropbox er begrenset til 100gb.. det er langt ifra det jeg trenger å vite er sikkert. per nå så bruker jeg en løsning med backup till server i boden, der data komprimeres og blir sendt med FTP 1 gang i uken til mine forelder i Sverige. delvis automatisert, dog ikke noen advarsel dersom jobbet failer.
Har søkt som en tulling etter en link jeg såg for noen uker siden, fant en kopi av dropbox, d.vs open source løsning for den som vill sette opp egen D-box løsning i fe.x Amazon cloud, det som var så kjekt med dette var at det hadde dropbox lignende desktop app som "bare virker".. men klarer ikke for alt i verden å finne ut av hva linken var... noen annen som har sett noe som dette? Det som er flott med denne løsning er jo at du kun betaler for det du forbruker.
Signatur
Svensk, bosatt i Tromsø, skriver og snakker noen form for "Svorsk"
Statistisk fakta er at folk får mer og mer data - og 50GB er rett og slett alt for lite i det lange løp for svært mange (og fler og fler etter som tiden går). En minnepinne på 64 GB koster langt under 1k idag... ikke for det - ingenting har dødd så mye hos meg som akkurat minnepinner...
Jeg har bare opplevd en død disk etter IBM Diskstar (Deathstar) katastrofediskene - det var en hardt prøvet Velociraptor i et 6 diskers raid0 array på en Areca 1680IX kontroller. Nå skal det legges til at jeg skifter systemdisker oftere enn de fleste.
Dog - jeg har stor respekt for å miste data da jeg fra Deathstar perioden vet hvor kjedelig det er å miste "alle bildene fra turen på fjellet" og all den nye musikken jeg brukte tid på å rippe. Så jeg tar backup kontinuerlig. Hadde jeg banket på skyen og spurt om å få lagre 12 TB så hadde jeg vært en fattig mann.....
Må forresten få opplyse om at mye av materialet jeg har er digitalisert byhistorie - kommunen har etter utallige oppfordringer fra byhistorikere og andre lag og foreninger ikke vist fem flate øre's vilje til å støtte dette arbeidet som har pågått gjennom mange år i min fritid. Inntil ifjor... da ville de ha materialet mitt "free of charge" ! Jeg er nå faktisk "pålagt" å lagre backup av dette materialet i brannsikkert skap i "påvente av en avgjørelse" - hehe - kommunen betalte for skapet dog. Pålegget er forøvrig ikke verdt en dritt....
Det blir litt feil å ta som utgangspunkt ditt eget behov for lagring av titalls terrabyte digitalisert byhistorie, når du skal gi råd til folk som trenger en ola nordmann-løsning. Vanlige folk trenger ikke overføringshastighet og responstid i verdensklasse, og femdobbel redundans og riktig navn på kontrollerene osv osv. Et enkelt NAS og offsite backup holder for vanlige folk. Backup står for sikkerheten, trenger ikke mer enn det. Om en disk mot formodning skulle ryke plutselig, så er det bare å bytte den ut og kopiere tilbake fra backupen. Problemet folk ser ut til å ha er jo at de ikke har backup. De har masteroppgaven sin eller 10 år med digitale bilder på èn plass, og griner når det blir borte. Jeg har aldri hørt om noen som har mistet noe fordi de ikke hadde riktig sata-kontroller, eller riktig raid-oppsett. Det er tulleproblemstillinger for vanlige folk med vanlig bruk og vanlige behov.
Jeg skal ikke spørre deg om multistreaming (transferhastighet) ..... eller skrive/lese hastighet i systemet ditt. Det er bare urtragisk med onboard og kontrollere uten dedikert hw - og med software dedikert raid så er sikkerheten blåst.
Hvorfor er sikkerheten blåst med softwareraid? Jeg regner med som så at jeg kan få broblemer med å finne et kompatibelt kort om et billig hardware-raid-kort skulle dø etter noen år, men Linux sitt innebygde software-raid vil alltid være tilgjengelig uansett hvilken hardware jeg trenger å bytte ut. Jeg har opplevd et par tilfeller av død disk på mine softwareraid uten å ha mistet data.
Skal man ha flere brukere tilkoblet samtidig - som gjerne streamer HD - så nytter det ikke akkurat med en gammel Duron, 128 MB ram og et 10 mbps nettkort...
Et 100 mbps nettkort, og gjerne litt mer RAM koster ikke mye. En Linux filserver bruker nesten ikke CPU
HW har en estimert levetid fra 3-5 år...
...før den ikke klarer å svive rundt de nyeste spillene. Teknisk levetid på HW er mye lengre. Jeg har dog opplevd en del hovedkort som har dødd unge, og da passer jo ikke CPU og RAM i et nytt hovedkort.
Det blir litt feil å ta som utgangspunkt ditt eget behov for lagring av titalls terrabyte digitalisert byhistorie, når du skal gi råd til folk som trenger en ola nordmann-løsning. Vanlige folk trenger ikke overføringshastighet og responstid i verdensklasse, og femdobbel redundans og riktig navn på kontrollerene osv osv. Et enkelt NAS og offsite backup holder for vanlige folk. Backup står for sikkerheten, trenger ikke mer enn det. Om en disk mot formodning skulle ryke plutselig, så er det bare å bytte den ut og kopiere tilbake fra backupen. Problemet folk ser ut til å ha er jo at de ikke har backup. De har masteroppgaven sin eller 10 år med digitale bilder på èn plass, og griner når det blir borte. Jeg har aldri hørt om noen som har mistet noe fordi de ikke hadde riktig sata-kontroller, eller riktig raid-oppsett. Det er tulleproblemstillinger for vanlige folk med vanlig bruk og vanlige behov.
Enig i at titalls terabyte blir langt over det Ola trenger.
Men har du f.eks et AVCHD videokamera og bruker det en del får du etter hvert fantastisk mye rådata. Optimalt skulle man sikkert bearbeidet materialet, kodet det til et optimalt format, og slettet rådata. Men ....Det blir ofte til at man bare dumper minnekortet i påvente av bedre tid. Samme gjelder bilder. DSLR'er har så høy oppløsning for tiden, at noen tusen bilder hvor hvert bilde er 10MB blir litt data.
Man får finne ut om man ligger på proffnivå, Ola+ nivå, eller bare Ola-nivå.
Selv har jeg rundt 1TB umistelige data pr i dag. Og det bare øker. Å bruke bredbåndslinja for backup er helt utaktuelt før det kommer fiber e.l til området.
Dermed blir det offsite backup via sneaker-net, og som nevnt tidligere i tråden - manuelle rutiner er dømt til å svikte. Dermed blir backup'ene alt for sjeldne
hwraid (med mdadm) og swraid gir samme sikkerhet, men ikke samme ytelse. Det som er skummelt er å bruke swraid til en spessiell kontroller ettersom du er avhengig av å finne en tilsvarende kontroller om den du har dør for å ta med deg raidet. Dette problemet har du ikke med mdadm i linux.
Men raid er generelt tull ettersom det ikke beskytter mot korruptert filsystem som er det som ofte skjer, samt at har du raid 5 eller lignende og noe går galt så kan hele raidopplegget gå til helvete. Skjer det er det ikke nubbe sjans for å hente ut data, da er det bedre å ha en disk som halvfeiler og deretter hente ut restene.
Mao det er bare backup om du har data to steder uavhengig, og dropbox er en mulighet for folk som ikke har peil på data. Til annet så kan man se på rsync + sshfs, evt sparkleshare + git som er open source dropboxklone.
tja... for Ola amatør er det altså både billigst - mest forståelig, praktisk og aller enklest med sneaker-net - altså i praksis USB disk. At Ola amatør ikke gidder ta backup må han bare ta på sin egen kappe - særlig år det finnes utmerkede billige programmer som automatiserer oppgaven og i det KORTE løp er mye billigere enn offside lagring.
Nå har jeg heller ingen tro på å lagre mine data på andre sine servere, det måtte i så tilfelle være på et kryptert område. Jeg har bred erfaring med softwareraid både windows og linux - og var i sin tid også en større bidragsyter til hacket hvordan kjøre sw raid på XP. Men for å gjøre en kort historie ennå kortere så brant altså interessen ned ganske fort for prosjektet - på samme måte har jeg forlatt onboard kontrollere. Jeg stoler rett og slett ikke på dette - etter dårlige erfaringer . Fakta er jo også at onboard ofte yter relativt bra i Raid0 - det henvender seg til "speedfreaks med dårlig økonomi" som nesten alltid kjører opp et raid0 array. Helt greit og fin løsning med grei ytelse. Med hw kontroller når man det ultimate nivået - og ja - til en forholdsvis høy pris, her trives vel Ola ekspert som har mistet data noen ganger og har forbannet seg på at DET skal ikke skje igjen.
Softwareraid er lowend, likeså kontrollere som suger ressurser fra din PC.. og de løsningene finner du aldri hos et webhotell... gjett hvorfor...
Nå vet jeg at jeg beveger meg på ytterkant her - men det er på sin side siden utdaterte linuxbokser også er dratt inn i diskusjonen her. Slike bokser funker jo til enkel backup - ingen tvil om det. men i dagens DLNA/Twonky med HD streaming har de utspilt sin rolle.
Ble litt hulter til bulter dette innlegget siden jeg jobber ved siden av her :) beklager det !
Endte selv opp med følgende løsning som kostet rundt 4000kr
- Rack kabinett i dataskap - Rimelig mATX hovedkort med 45W AMD prosessor - Diverse disker, gamle som nye i forskjellige størrelser - win7
Men, bruker en software raid løsning som er ganske unik og veldig fleksibel som heter FlexRAID. Foreløpig gratis. Følger også med en løsning som heter "Stoorage Pooling" som lar deg slå sammen flere disker slik at de fremstår som en stor disk. Fordelene med FlexRAID er f.eks: - Du kan sette sammen disker av forskjellige størrelser - Fungerer på filsystem nivå - Også nettverksdisker/shares/flyttbare kan inngå i RAID'et - Data er alltid inntakt: Du kan stoppe RAID og alle filer er intakte og direkte lesbare - Stoorage pooling kan også stoppes og data er inntakt - Du kan starte å bruke RAID og Stoorage Pooling med data på diskene fra før. Ingenting røres - Konfigurerbart hvilken nivå på redundans du vil ha - Snapshot eller real-time raid - Windows og Linux - + mye mer
Ble nesten reklame... uansett, veldig imponert over denne løsningen her. Ny utgave med mange forbedringer ventet i løpet av en 2 uker.
Backup av flac er vel for spesielt intersserte, eg har slutta med ekstern backup av slikt som ein finn andre stader på nettet for lenge sidan (musikk & filmer/serier).
Den initielle backupen tar jo fort nokre veker (hos meg i allefall), men PC'en står no der allikevel.
Etter det fungerer det sømløst, treng ikkje tenke på det i det heile.
Billigst med USB ekstern disk ja, men har ein under 200 GB kostar det kr. 300 i backup eksternt i skya i året.
Og ein slepp flytte på ein USB disk inne og ut av huset kvar gang ein har lagt bilder ned på disken.
Det einaste som er sikkert med manuelle rutiner er at dei blir utsett, hoppa over og gløymt! Snakkar av egen erfaring.
1. dropp filer i mappe på skrivebordet
2. la alt skje automagiskt
3. er det noe se i revisjonshistorikken for mappen
Mao genialt. Gidder man er sparkleshare med git som backend mulig, men ikke like robust.
Har søkt som en tulling etter en link jeg såg for noen uker siden, fant en kopi av dropbox, d.vs open source løsning for den som vill sette opp egen D-box løsning i fe.x Amazon cloud, det som var så kjekt med dette var at det hadde dropbox lignende desktop app som "bare virker".. men klarer ikke for alt i verden å finne ut av hva linken var... noen annen som har sett noe som dette? Det som er flott med denne løsning er jo at du kun betaler for det du forbruker.
Jeg har bare opplevd en død disk etter IBM Diskstar (Deathstar) katastrofediskene - det var en hardt prøvet Velociraptor i et 6 diskers raid0 array på en Areca 1680IX kontroller. Nå skal det legges til at jeg skifter systemdisker oftere enn de fleste.
Dog - jeg har stor respekt for å miste data da jeg fra Deathstar perioden vet hvor kjedelig det er å miste "alle bildene fra turen på fjellet" og all den nye musikken jeg brukte tid på å rippe. Så jeg tar backup kontinuerlig.
Hadde jeg banket på skyen og spurt om å få lagre 12 TB så hadde jeg vært en fattig mann.....
Må forresten få opplyse om at mye av materialet jeg har er digitalisert byhistorie - kommunen har etter utallige oppfordringer fra byhistorikere og andre lag og foreninger ikke vist fem flate øre's vilje til å støtte dette arbeidet som har pågått gjennom mange år i min fritid. Inntil ifjor... da ville de ha materialet mitt "free of charge" !
Jeg er nå faktisk "pålagt" å lagre backup av dette materialet i brannsikkert skap i "påvente av en avgjørelse" - hehe - kommunen betalte for skapet dog.
Pålegget er forøvrig ikke verdt en dritt....
20:03:04 697 days, 00:12:56 hours
Updates installed successfully - reboot now ?
Hvorfor er sikkerheten blåst med softwareraid? Jeg regner med som så at jeg kan få broblemer med å finne et kompatibelt kort om et billig hardware-raid-kort skulle dø etter noen år, men Linux sitt innebygde software-raid vil alltid være tilgjengelig uansett hvilken hardware jeg trenger å bytte ut. Jeg har opplevd et par tilfeller av død disk på mine softwareraid uten å ha mistet data.
Et 100 mbps nettkort, og gjerne litt mer RAM koster ikke mye. En Linux filserver bruker nesten ikke CPU
...før den ikke klarer å svive rundt de nyeste spillene. Teknisk levetid på HW er mye lengre. Jeg har dog opplevd en del hovedkort som har dødd unge, og da passer jo ikke CPU og RAM i et nytt hovedkort.
Enig i at titalls terabyte blir langt over det Ola trenger.
Men har du f.eks et AVCHD videokamera og bruker det en del får du etter hvert fantastisk mye rådata. Optimalt skulle man sikkert bearbeidet materialet, kodet det til et optimalt format, og slettet rådata. Men ....Det blir ofte til at man bare dumper minnekortet i påvente av bedre tid. Samme gjelder bilder. DSLR'er har så høy oppløsning for tiden, at noen tusen bilder hvor hvert bilde er 10MB blir litt data.
Man får finne ut om man ligger på proffnivå, Ola+ nivå, eller bare Ola-nivå.
Selv har jeg rundt 1TB umistelige data pr i dag. Og det bare øker. Å bruke bredbåndslinja for backup er helt utaktuelt før det kommer fiber e.l til området.
Dermed blir det offsite backup via sneaker-net, og som nevnt tidligere i tråden - manuelle rutiner er dømt til å svikte. Dermed blir backup'ene alt for sjeldne
- Baderomsbloggen min
....
...
...
Men raid er generelt tull ettersom det ikke beskytter mot korruptert filsystem som er det som ofte skjer, samt at har du raid 5 eller lignende og noe går galt så kan hele raidopplegget gå til helvete. Skjer det er det ikke nubbe sjans for å hente ut data, da er det bedre å ha en disk som halvfeiler og deretter hente ut restene.
Mao det er bare backup om du har data to steder uavhengig, og dropbox er en mulighet for folk som ikke har peil på data. Til annet så kan man se på rsync + sshfs, evt sparkleshare + git som er open source dropboxklone.
At Ola amatør ikke gidder ta backup må han bare ta på sin egen kappe - særlig år det finnes utmerkede billige programmer som automatiserer oppgaven og i det KORTE løp er mye billigere enn offside lagring.
Nå har jeg heller ingen tro på å lagre mine data på andre sine servere, det måtte i så tilfelle være på et kryptert område. Jeg har bred erfaring med softwareraid både windows og linux - og var i sin tid også en større bidragsyter til hacket hvordan kjøre sw raid på XP. Men for å gjøre en kort historie ennå kortere så brant altså interessen ned ganske fort for prosjektet - på samme måte har jeg forlatt onboard kontrollere. Jeg stoler rett og slett ikke på dette - etter dårlige erfaringer . Fakta er jo også at onboard ofte yter relativt bra i Raid0 - det henvender seg til "speedfreaks med dårlig økonomi" som nesten alltid kjører opp et raid0 array. Helt greit og fin løsning med grei ytelse.
Med hw kontroller når man det ultimate nivået - og ja - til en forholdsvis høy pris, her trives vel Ola ekspert som har mistet data noen ganger og har forbannet seg på at DET skal ikke skje igjen.
Softwareraid er lowend, likeså kontrollere som suger ressurser fra din PC.. og de løsningene finner du aldri hos et webhotell... gjett hvorfor...
Nå vet jeg at jeg beveger meg på ytterkant her - men det er på sin side siden utdaterte linuxbokser også er dratt inn i diskusjonen her. Slike bokser funker jo til enkel backup - ingen tvil om det. men i dagens DLNA/Twonky med HD streaming har de utspilt sin rolle.
Ble litt
20:03:04 697 days, 00:12:56 hours
Updates installed successfully - reboot now ?
- Rack kabinett i dataskap
- Rimelig mATX hovedkort med 45W AMD prosessor
- Diverse disker, gamle som nye i forskjellige størrelser
- win7
Men, bruker en software raid løsning som er ganske unik og veldig fleksibel som heter FlexRAID. Foreløpig gratis. Følger også med en løsning som heter "Stoorage Pooling" som lar deg slå sammen flere disker slik at de fremstår som en stor disk. Fordelene med FlexRAID er f.eks:
- Du kan sette sammen disker av forskjellige størrelser
- Fungerer på filsystem nivå
- Også nettverksdisker/shares/flyttbare kan inngå i RAID'et
- Data er alltid inntakt: Du kan stoppe RAID og alle filer er intakte og direkte lesbare
- Stoorage pooling kan også stoppes og data er inntakt
- Du kan starte å bruke RAID og Stoorage Pooling med data på diskene fra før. Ingenting røres
- Konfigurerbart hvilken nivå på redundans du vil ha
- Snapshot eller real-time raid
- Windows og Linux
- + mye mer
Ble nesten reklame... uansett, veldig imponert over denne løsningen her. Ny utgave med mange forbedringer ventet i løpet av en 2 uker.