natgillin/translations-raw huggingface dataset:
ZFS from Sun Microsystems seems to be one of two candidates to deal with disk errors on a low level, and it is highly scalable. It is Open Source, heavily patented, comes with an GPL incompatible license, and is available on Solaris and Leopard. Let us hope that it will soon be available for & Linux; and Windows (article).
ZFS från Sun Microsystems verkar vara en av två kandidater för att hantera skivfel på låg nivå, och det är mycket skalbart. Det har öppen källkod, starkt patentskydd, levereras med en licens som inte fungerar ihop med GPL, och är tillgängligt på Solaris och Leopard. Låt oss hoppas att det snart blir tillgängligt på & Linux; och Windows (en artikel).
This is for the courageous ones. Fuse ZFS
Detta är för de modiga: Fuse ZFS.
Oracle has also started an initiative with its btrfs file system, which still is in an alpha stage. It employs the same protection technique as zfs does, and it's available on & Linux;, although it is not yet part of the stock kernel.
Oracle har också påbörjat ett initiativ med sitt BTRFS- filsystem, som fortfarande är på alfastadiet. Det utnyttjar samma skyddsteknik som ZFS, och är tillgängligt på & Linux;, även om det ännu inte är en del av den vanliga kärnan.
Theft and accidents
Stöld och olyckor
Do not underestimate it! Those two factor account for 86% of notebook and 46% for desktop system data losses. For notebooks, theft counts for 50% alone.
Underskatta dem inte! Dessa två faktorer står för 86% av förlusterna för bärbara datorer och 46% för fasta system. För bärbara datorer, står stöld ensamt för 50%.
Malware
Skadliga program
Data loss due to viruses is less grave than common wisdom make you believe. It accounts for less damage than theft or re-installations, for example. And it is limited to Microsoft OS users. Apple users experience very few viruses and under & Linux; they have n't been around for quite some time now.
Dataförlust på grund av virus är mindre allvarlig än man kan tro av vad man hör. Den står till exempel för färre skador än stöld eller ominstallation, och den är begränsad till användare av Microsofts operativsystem. Användare av Apple råkar ut för mycket få virus, och för & Linux; har de inte funnits på en rätt lång tid nu.
Panic is a factor in data loss
Panik kan ha betydelse vid dataförlust
Human error, as in everything, is a major problem in data loss. Take a deep breath and stop! Panic is a common reaction, and people do really stupid things. Experienced users will pull the wrong drive from a RAID array or reformat a drive, destroying all their information. Acting without thinking is dangerous to your data. Stop stressing about the loss and don ’ t do anything to the disk. Better yet, stop using the computer until you have a plan. Sit down and explain you plan to a laymen or better, laywoman. You will be amazed how many stupid ideas you'll discover yourself in such an exercise.
Mänskliga fel är ett stort problem vid dataförlust, liksom med allt annat. Ta ett djupt andetag och stoppa! Panik är en vanlig reaktion, och man kan göra verkligt dumma saker. Erfarna användare kan dra ut fel enhet från ett RAID system, eller formatera om en hårddisk så att all information blir förstörd. Att agera utan att tänka är farligt för data. Sluta stressa upp dig över förlusten och gör ingenting med hårddisken. Ännu bättre är att sluta använda datorn innan du har tänkt ut en plan. Sätt dig ner och förklara din plan för en lekman, eller hellre kvinna. Du blir förvånad över hur många dumma idéer du själv kan upptäcka med en sådan övning.
If your disk is making weird noises, normal file recovery software isn’ t going to work. Do a quick backup if that is going to happen to you. If the drive is still spinning and you can’ t find your data, look for a data recovery utility and backup to another computer or drive. (Non-Linux; users: Google for & quot; free data recovery softwarequot; for some options, including one from Ontrack). The important thing is to download them onto another drive, either on another computer, or onto a USB thumb drive or hard disk. It is good practice to save the recovered data to another disk. dd is your friend on *nix systems.
Om hårddisken ger ifrån sig konstiga ljud, kommer inte vanlig programvara för att återställa filer att fungera. Gör en snabb säkerhetskopiering om du skulle råka ut för det. Om skivan fortfarande snurrar och du inte kan hitta din data, hitta ett verktyg för att återställa data och säkerhetskopiera till en annan dator eller enhet. (För de som inte använder & Linux;: Sök på Google efter & quot; free data recovery softwarequot;, så finns det några alternativ, inklusive ett från Ontrack.) Det är viktigt att ladda ner på en annan enhet, antingen på en annan dator, eller på en USB- minnessticka eller hårddisk. Det är lämpligt att spara återställd data på en annan hårddisk. Programmet dd är användbart på Unix- system.
I'd like to dispel some common myths:
Jag skulle vilja skingra några vanliga myter:
Open Source file systems are less prone to data loss than proprietary systems: Wrong, NTFS is rather a tiny notch better than ext3, ReiserFs, JFS, XFS, to name just the most popular file systems that often come as default FS with distributions. A brilliant article about it is here: link
Filsystem med öppen källkod är mindre benägna att utsättas för dataförlust än tillverkarspecifika system: Fel. NTFS är istället ett litet pinnhål bättre än ext3, ReiserFS, JFS eller XFS, för att bara nämna de mest populära filsystemen som ofta levereras som standardfilsystem med distributioner. En enastående artikel om detta finns här.
Journaling files systems prevent data corruption/ loss: Wrong, they only speed up the scan process in case of a sudden interrupt during operation and prevent ambiguous states. But if a file was not entirely saved before the mishap, it'll be lost.
Journalbaserade filsystem förhindrar dataförvanskning och förlust. Fel, de snabbar bara upp sökprocessen i fallet med ett plötsligt avbrott under användning, och förhindrar tvetydiga tillstånd. Men om en fil inte hade sparats helt och hållet innan missödet, går den förlorad.
RAID systems prevent data corruption/ loss: Mostly wrong, RAID0 and 1 prevent you from nothing, RAID5 can prevent data loss due to disk-failures (but not from disk or file system errors). Many low-end RAID controllers (most mother board controllers are) don ’ t report problems, figuring you’ ll never notice. If you do notice, months later, what is the chance that you ’ ll know it was the controller’ s fault? One insidious problem is corruption of RAID 5 parity data. It is pretty simple to check a file by reading it and matching the metadata. Checking parity data is much more difficult, so you typically won ’ t see parity errors until a rebuild. Then, of course, it is too late.
RAID- system förhindrar dataförvanskning och förlust. Oftast fel. RAID 0 och 1 skyddar dig inte från någonting. RAID 5 kan förhindra dataförlust på grund av hårddiskfel (men inte från skiv - eller filsystemfel). Många enklare RAID- styrenheter (de flesta enheter på moderkort) rapporterar inte problem, med antagandet att du aldrig kommer att märka dem. Om du märker det flera månader senare, vad är då chansen att du vet att felet berodde på styrenheten? Ett försåtligt problem är förvanskning av RAID 5 paritetsdata. Det är ganska enkelt att kontrollera en fil genom att läsa den och kontrollera metadata. Att kontrollera paritetsdata är mycket svårare, alltså ser du oftast inte paritetsfel förrän en ombyggnad sker. Då är det förstås för sent.
Viruses are the biggest thread to digital data: Wrong. Theft, and human errors are the primary cause of data loss.
Virus är det största hotet för digital data. Fel. Stöld och mänskligt fel är de primära orsakerna till dataförlust.
Digital camera sensors are 1-2 aperture stops away from fundamental physical limitations. What I mean is this: as technology evolves, there is a natural limit to its progress. Sensitivity and noise characteristics for any kind of light sensor are not far from that limit.
Sensorer i digitalkameror är 1- 2 bländarsteg från fundamentala fysikaliska begränsningar. Vad jag menar är att det finns en naturlig gräns för hur långt tekniska framsteg kan nå. Känslighet och bruskarakteristik för alla typer av ljussensorer är inte långt från denna gräns.
Today's cameras tend towards 10 mega pixels sensors, although this resolution is already too high for compact cameras and deteriorates the end result. Given the sensor size and quality of optics, 6 mega pixels are optimum for compact cameras. Even DSLR cameras run into their limits at 10-12 mega pixels, for higher resolutions one has to go for full frame sensors (24x36mm) or even bigger formats.
Dagens kameror går mot sensorer med 10 megapixlar, även om den upplösningen redan är för stor för kompaktkameror och försämrar slutresultatet. Givet sensorstorlek och optikkvalitet är 6 megapixlar optimalt för kompaktkameror. Till och med spegelreflexkameror når sina gränser vid 10- 12 megapixlar. För ännu högre upplösningar måste man utnyttja helbildsensorer (24 x 36 mm) eller ännu större format.
So, taking into account the manufacturer mega pixel propaganda it seems save to say that the bulk of future cameras will see less than 20 mega pixels. This gives us an estimation for the necessary storage space per photograph in the long run: & lt; 15 MB per image. Even if file versioning will be introduced (grouping of variations of a photograph under one file reference), the trend is to implement scripting of changes so that a small overhead will be recorded only and not a whole different image per version. With faster hardware this concept will see it's maturity quite soon.
Om man tar hänsyn till tillverkarnas reklam om megapixlar, verkar det på den säkra sidan att påstå att de flesta framtida kameror kommer att ha mindre än 20 megapixel. Det ger oss en uppskattning av nödvändigt lagringsutrymme per fotografi i det långa loppet; & lt; 15 Mibyte per bild. Även om versionsbaserade filer introduceras (gruppering av variationer hos ett fotografi under en filreferens), är trenden att implementera ändringsskript så att bara ett litet extra utrymme krävs, och inte en helt annorlunda bild för varje version. Med snabbare hårdvara kommer detta koncept snart nå sin mognad.
In order to estimate the amount of storage space you have to plan for, simply determine the number of photographs you take per year (easy with & digikam; 's timeline sidebar) and multiply it by 15 MB. Most users will keep less than 2000 pictures per year which requires less than 30 GB/ year. Assuming that you will change your hard disk (or whatever media in the future) every 4-5 years, the natural increase in storage capacity will suffice to keep you afloat.
För att uppskatta hur mycket lagringsutrymme du måste planera för, multiplicera helt enkelt antal fotografier du tar per år (enkelt med tidslinjen i & digikam; s sidorad) med 15 Mibyte. De flesta användare behåller färre än 2000 bilder per år, vilket kräver mindre än 30 Gibyte/ år. Med antagandet att du byter hårddisk (eller något framtida medium) omkring var fjärde till femte år, kommer den naturliga ökningen av lagringskapacitet vara tillräcklig för att hålla dig flytande.
The more ambitious ones out there will need more space, much more maybe. Think of buying a file server, Giga-Ethernet comes integrated into motherboards today and it's a flick to fetch the files over the local network. Speaking about modern mobos: they now have external SATA connectors. This makes it really a trifle to buy an external SATA drive and hook it up to your machine. 1000 GB drives will hit the market this year (2008). These are terrific compact storage containers for backup swapping: keep one drive at home and one somewhere else.
De mer ambitiösa där ute kommer att behöva mer utrymme, kanske mycket mer. Fundera på att köpa en filserver. Gigabit- ethernet levereras integrerat i moderkort idag, och det går på ett ögonblick att hämta filer via det lokala nätverket. På tal om moderna moderkort: nu har de externa SATA- anslutningar. Det gör det verkligen till en bagatell att köpa en extern SATA- enhet och koppla in den till datorn. Under detta år (2008) kommer 1000 Gbyte enheter nå marknaden. De är utmärkta kompakta lagringsenheter för utbyte vid säkerhetskopiering: behåll en enhet hemma, och ha en på någon annan plats.
A 750GB HD costs & euro; 100 today. Do not blame anybody else for data loss! 6% of all PCs will suffer an episode of data loss in any given year. Backup your data often according to a plan, and back it up and test the backup before you do anything dramatic like re-installing your OS, changing disks, resizing partitions and so on.
En 750 Gbyte hårddisk kostar idag 1000 kronor. Skyll inte på någon annan vid dataförlust! 6% av alla persondatorer råkar ut för en dataförlust ett givet år. Säkerhetskopiera data ofta enligt en plan, och säkerhetskopiera den och kontrollera säkerhetskopian innan du gör något ovanligt som att installera om operativsystemet, byta hårddisk, ändra partitionsstorlek, och så vidare.
Disaster prevention
Förhindra katastrofer
Say, you religiously do your backups every day on a external SATA drive. Then comes the day where lightning strikes. Happy you if the external drive was not connected at that moment!
Antag att du samvetsgrant gör säkerhetskopior varje dag på en extern SATA- diskenhet. Då inträffar dagen då åskan slår ner. Om den externa disken inte var inkopplad i det ögonblicket kan du skatta dig lycklig!
Disasters strike locally and destroy a lot. Forget about airplane crashes: fire, water, electricity, kids and theft are dangerous enough to our data. They usually cover a whole room or house.
Katastrofer sker lokalt och förstör mycket. Glöm bort flygplanskrascher: eldsvådor, vattenskador, elektricitet, ungar och stöld är farliga nog för din data. De skadar ofta ett helt rum eller hela huset.
Therefore disaster control means de-localized storage. Move your backups upstairs, next house, to your bureau (and vise versa), whatever.
Därför betyder hantering av katastrofer att inte lagra lokalt. Flytta säkerhetskopior till övervåningen, huset intill, till kontoret (eller tvärtom), eller någon annanstans.
There is another good aspect to the physical separation: as said above, panic is often the cause of destroying data, even the backup data. Having a backup not at hand right away may safe your ass one day.
Det finns en annan god sak med fysisk separation: som nämnts ovan är panik ofta orsak till att data förstörs, till och med säkerhetskopierad data. Att ha en säkerhetskopia som inte är direkt tillgänglig kan rädda ditt skinn en vacker dag.
Some backup technicalities explained for laymen.
Några tekniker för säkerhetskopiering förklarade för lekmän
Full Backup: A complete backup of all the files being backed up. It is a snapshot without history, it represents a full copy at one point in time.
Fullständig säkerhetskopiering: En komplett säkerhetskopiering av alla filer som ingår. Det är en ögonblicksbild utan historik, och representerar en fullständig kopia från en viss tidpunkt.
Differential Backup: A backup of only the files that have changed since the last full backup. Constitutes a full snapshot of two points in time: the full backup and the last differential one.
Differentiell säkerhetskopia: En säkerhetskopia enbart av de filer som har ändrats sedan den senaste fullständiga säkerhetskopian. Utgör en fullständig ögonblicksbild av två tidpunkter: den fullständiga säkerhetskopian och den senaste differentiella.
Incremental Backup: A backup of only the files that have changed since last whatever backup. Constitutes multiple snapshots. You can recreate the original state at any point in time such a backup was made. This comes closest to a versioning system except that it is only sampled and not continuous.
Inkrementell säkerhetskopiering: En säkerhetskopiering av bara filer som har ändrats sedan den senaste andra säkerhetskopieringen. Består av flera kopieringar. Du kan återställa det ursprungliga tillståndet för en godtycklig tidpunkt när en sådan säkerhetskopiering utfördes. Det är så nära man kan komma till ett versionsbaserat system, utom att det bara är samplat och inte kontinuerligt.
Best practice: The IT-layman's backup cookbook
Bästa kända metod: Recept på säkerhetskopiering för lekmän inom IT
do a full backup in a external storage device.
Gör en fullständig säkerhetskopiering med en extern lagringsenhet.
verify its data integrity and put it away (disaster control)
Verifiera dess dataintegritet och avlägsna den (katastrofhantering)
have another storage device for frequent backups
Ha en annan lagringsenhet för ofta förekommande säkerhetskopior
swap the devices every other month after having verified data integrity
Byt enheterna varannan månad efter att ha verifierat dataintegritet
A useful rsync recipe to backups
Ett användbart recept för säkerhetskopiering med rsync
Rsync is a wonderful little utility that's amazingly easy to set up on your machines. Rather than have a scripted FTP session, or some other form of file transfer script - rsync copies only the differences of files that have actually changed, compressed and through ssh if you want to for security. That's a mouthful.
Rsync är ett underbart litet verktyg som är förvånansvärt lätt att anpassa på dina datorer. Istället för att ha en FTP- session styrd av ett skript, eller någon annan form av filöverföringsskript: rsync kopierar bara skillnader för filer som verkligen har ändras, komprimerat och av säkerhetsskäl via SSH om du vill. Det är en hel del.
A reasonable backup approach for images could be this one:
En rimlig ansats för säkerhetskopiering av bilder skulle kunna vara följande:
backup important images right away (after dumping them to a computer) to DVD/ optical media
Säkerhetskopiera viktiga bilder omedelbart till dvd eller optisk media (efter de har lagrats på en dator)
do daily incremental backup of the work space
Gör daglig inkrementell säkerhetskopiering av arbetsarean
do a weekly differential backup and delete integral backups of week-2 (two weeks ago)
Gör en veckovis differentiell säkerhetskopiering och ta bort motsvarande säkerhetskopia från veckan minus två (två veckor tillbaka)
do a monthly differential backup and delete backup of month-2
Gör en månadsvis differentiell säkerhetskopiering och ta bort säkerhetskopian från månad minus två
if not physically separated already, separate it now (swapping-in another backup drive)
Om inte redan fysiskt åtskilda, skilj dem nu åt (genom att byta till en annan diskenhet för säkerhetskopiering)
This protocol tries to leave you enough time to spot losses and to recover fully at the same time keeping the backup volume at & lt; 130% of the working space. You end up with a daily version of the last 7-14 days, a weekly snapshot for at least one month, and a snapshot of every month. Any more thinning should be done by hand after a full verification.
Metoden försöker ge dig tillräckligt med tid att upptäcka förluster och att återställa fullständigt, samtidigt som volymen för säkerhetskopiering hålls på & lt; 130% av arbetsutrymmet. Du får en daglig version för de senaste 7- 14 dagarna, en veckovis kopia under minst en månad, och en kopia av varje månad. Eventuell ytterligare gallring bör göras för hand efter en fullständig verifikation.
script to follow.... TBD
Ett skript kommer senare...
For German speaking *nix users: link
För tysktalande användare av Unix- system: en länk.
Themes: metadata, IPTC stored in image files, XMP files associated, keep the originals, storage, scalability, media, retrieval of images and metadata, copying image data over to the next generation of media, applications, operating systems, virtualization, viewing device... use of the www.
Teman: metadata, IPTC lagrad i bildfiler, tillhörande XMP- filer, behåll originalen, lagringsmedia, skalbarhet, återställa bilder och metadata, kopiera bilddata till nästa generations media, program, operativsystem, virtuella system, visningsutrustning... användning av webben.
In order for your valuable images to survive the next 40 years or so (because that's about the time that you will become really interested to revisit those nice old photographs of you as a child, adolescent & etc;) there are two strategies to be observed:
För att dina värdefulla bilder ska överleva sisådär de kommande 40 åren (eftersom det är då du blir verkligt intresserad av att gå tillbaka till de fina gamla fotografierna av dig som barn, ungdom, etc.) finns det två strategier att följa:
Keep up with technology, do n't lag behind more than a couple of years.
Följ med teknologin. Bli inte efter mer än några år.
Save your photos in an open, non-proprietary standard.
Spara dina foton med en öppen, ej tillverkarspecifik, standard.
How to keep up with technology?
Hur hänger man med teknologin?
As the future is unforeseeable by nature, everything said today is to be taken with caution, and to be reviewed as we advance. Unfortunately there is no shortcut possible to some basic vigilance. Every 5-8 years at least one should ask oneself the question of backwards compatibility of current systems. The less variants we used in the past the less questions are to be answered in the future.
Eftersom framtiden på grund av sin natur inte kan förutsägas, måste allt som sägs idag tas med försiktighet, och granskas alltmedan tiden går. Tyvärr finns det inga möjliga genvägar undan viss grundläggande vaksamhet. Åtminstone var femte till åttonde år bör man fråga sig hur bakåtkompatibla nuvarande system är. Ju färre alternativ vi använde i det förflutna, desto färre frågor måste besvaras i framtiden.
Of course every time you change your computer system (machine, operating system, applications, DRM) you have to ask yourself the same questions. Today, if you want to switch to Windows Vista, you have to ask yourself three times if you still can import your pictures, and, more important so, if you are ever able to move them onto some other system or machine. Chances are good that you cannot. I see many people struggling around me, because Vista enforces a strict DRM regime. How can you proof to Vista that you are actually the owner of your pictures copyright?
Varje gång du byter datorsystem (hårdvara, operativsystem, program, digital upphovshantering) måste du förstås ställa samma frågor. Om du vill byta till Windows Vista idag, måste du upprepade gånger ställa dig frågan om du fortfarande kan importera dina bilder, och ännu viktigare, om du någonsin kommer att kunna flytta dem till något annat system eller någon annan dator. Risken är stor att du inte kommer att kunna det. Jag ser många runt omkring som kämpar, eftersom Vista genomdriver en strikt hantering av digital upphovsrätt. Hur kan du bevisa för Vista att du verkligen är ägare till dina bilders upphovsrätt?
Basically the questions should be answered along the line explained in this document: use and change to open standards supported by a manifold of applications.
Frågorna bör besvaras i enlighet med linjen som förklaras i detta dokument: använd eller byt till öppna standarder som stöds av en mångfald program.
Virtualization becomes available now for everybody. So if you have an old system that is important for reading your images, keep it, install it as a virtual machine for later.
Nu är virtuella datorer tillgängliga för alla. Om du har en gammal dator som är viktig för att kunna läsa dina bilder, behåll den, och installera den som en virtuell dator för senare användning.
Otherwise the advice is quite simple: every time you change your computer architecture, your storage and backup technology, your file format, check it out, go through your library and convert to a newer standard if necessary. And keep to open standards.
Annars är rådet mycket enkelt: Varje gång du byter datorarkitektur, lagrings - och säkerhetskopieringsteknologi, eller filformat, kontrollera det, gå igenom biblioteket och konvertera till en nyare standard om det behövs. Och håll dig till öppna standarder.
Scalability is the tech-geek expression of the (easy) capability of a system to be resized, which always means up-sized.
Skalbarhet är tekniknördens uttryck för förmågan att (enkelt) kunna ändra ett systems storlek, vilket alltid betyder att göra det större.
EMVS / LVM Todo
EMVS/ LVM: Att göra