Einführung in Amazon S3: So funktioniert Objektspeicherung in der Cloud
Amazon Simple Storage Service (S3) ist ein beliebter Cloud-Speicher, der Teil der Amazon Web Services (AWS) ist. Der Amazon S3-Cloud-Speicher bietet hohe Zuverlässigkeit, Flexibilität, Skalierbarkeit und Verfügbarkeit. Die Anzahl der Objekte und die Menge der in Amazon S3 gespeicherten Daten sind unbegrenzt. Der S3-Cloud-Speicher ist für Unternehmen attraktiv, da Sie nur für das bezahlen, was Sie tatsächlich nutzen.
Allerdings können die Fachbegriffe und die Vorgehensweise bei neuen Amazon S3-Nutzern zu Missverständnissen und Schwierigkeiten führen. Wo werden S3-Daten gespeichert? Wie funktioniert der Amazon S3-Cloud-Speicher? Dieser Blogbeitrag erläutert die wichtigsten Konzepte und die Funktionsweise des Amazon S3-Cloud-Speichers.
Über den Amazon S3-Speicher
Amazon S3 war der erste Cloud-Dienst von AWS und wurde 2006 eingeführt. Seitdem hat die Beliebtheit dieses Speicherdienstes stetig zugenommen. Mittlerweile bietet Amazon eine Vielzahl weiterer Cloud-Dienste an, doch der Amazon S3-Cloud-Speicher ist nach wie vor der am häufigsten genutzte. Neben dem Amazon S3-Speicher bietet AWS auch Amazon EBS-Volumes für EC2 sowie Amazon Drive an. Die drei Dienste haben jedoch unterschiedliche Einsatzbereiche und Zwecke.
EBS (Elastic Block Storage) Volumes für EC2-Instanzen (Elastic Compute Cloud) sind virtuelle Festplatten für virtuelle Maschinen, die sich in der Amazon-Cloud befinden. Wie der Name EBS schon andeutet, handelt es sich hierbei um Blockspeicher in der Cloud, der das Pendant zu Festplatten in physischen Computern darstellt. Auf einem EBS-Volume, das an eine EC2 -Instanz angehängt ist, kann ein Betriebssystem installiert werden.
Amazon Drive (früher bekannt als Amazon Cloud Drive) ist das Pendant zu Google Drive und Microsoft OneDrive. Amazon Drive verfügt über einen geringeren Bereich an Funktionen als Amazon S3. Amazon Drive ist als Cloud-Speicherdienst zur Sicherung von Fotos und anderen Benutzerdaten positioniert.
Amazon S3 Cloud-Speicher ist ein objektbasierter Speicherdienst. Bei der Nutzung von Amazon S3-Speicher können Sie kein Betriebssystem installieren, da der Zugriff auf Daten auf Blockebene – wie er von einem Betriebssystem benötigt wird – nicht möglich ist. Wenn Sie den Amazon S3-Speicher als Netzlaufwerk in Ihrem Betriebssystem einbinden müssen, verwenden Sie ein Dateisystem im Userspace. Lesen Sie den Blogbeitrag über Einbinden des S3-Cloud-Speichers für verschiedene Betriebssysteme. Google Cloud ist das Pendant zum Amazon S3-Cloud-Speicher.
Amazon S3 – Grundlegende Konzepte
Wenn Sie Amazon S3 zum ersten Mal nutzen, sind einige Konzepte für Sie möglicherweise ungewohnt und unbekannt. Die Vorgehensweise beim Speichern von Daten in der S3-Cloud unterscheidet sich von der Speicherung auf herkömmlichen Festplatten, Solid-State-Laufwerken oder Festplatten-Arrays. Im Folgenden finden Sie einen Überblick über die wichtigsten Konzepte und Technologien, die zum Speichern und Verwalten von Daten im Amazon S3-Cloud-Speicher verwendet werden.
Wie speichert S3 Dateien?
Wie oben erläutert, werden Daten in Amazon S3 als Objekte gespeichert. Dieser Ansatz ermöglicht einen hochskalierbaren Speicher in der Cloud. Objekte können sich auf verschiedenen physischen Festplatten befinden, die über ein Rechenzentrum verteilt sind. In den Amazon-Rechenzentren kommen spezielle Hardware, Software und verteilte Dateisysteme zum Einsatz, um eine hohe Skalierbarkeit zu gewährleisten. Redundanz und Versionierung sind Funktionen, die mithilfe des Blockspeicheransatzes implementiert werden. Wenn eine Datei in Amazon S3 als Objekt gespeichert wird, wird sie standardmäßig gleichzeitig an mehreren Standorten (z. B. auf Festplatten, in Rechenzentren oder Verfügbarkeitszonen) gespeichert. Amazon S3-Dienst überprüft regelmäßig die Datenkonsistenz, indem Kontroll-Hash-Summen überprüft werden. Wenn Datenkorruption festgestellt wird, wird das Objekt mithilfe der redundanten Daten wiederhergestellt. Objekte werden in Amazon S3-Buckets gespeichert. Standardmäßig können auf Objekte im Amazon S3-Speicher über die Weboberfläche zugegriffen werden und sie können verwaltet werden.
Was ist die S3-Objektspeicherung?
Objektspeicherung ist eine Art der Speicherung, bei der Daten als Objekte statt als Blöcke gespeichert werden. Dieses Konzept eignet sich für die Datensicherung, die Archivierung und die Skalierbarkeit in Umgebungen mit hoher Auslastung.
Objects sind die grundlegenden Einheiten der Datenspeicherung in Amazon S3-Buckets. Es gibt drei Hauptkomponenten eines Objekts: der Inhalt des Objekts (Daten, die im Objekt gespeichert sind, wie eine Datei oder ein Verzeichnis), der einzigartige Objektidentifikator (ID) und Metadaten. Metadaten werden als Schlüssel-Wert-Paare gespeichert und enthalten Informationen wie Name, Größe, Datum, Sicherheitsattribute, Inhaltstyp und URL.
Jedes Objekt hat eine Zugriffssteuerungsliste (ACL), um zu konfigurieren, wer berechtigt ist, auf das Objekt zuzugreifen. Amazon S3-Objektspeicherung ermöglicht es Ihnen, Netzwerkengpässe während der Stoßzeiten zu vermeiden, wenn der Datenverkehr zu Ihren auf dem S3-Cloud-Speicher gespeicherten Objekten erheblich zunimmt. Amazon bietet flexible Netzwerkbandbreite, berechnet jedoch den Netzwerkzugriff auf die gespeicherten Objekte. Objektspeicherung ist nützlich, wenn eine hohe Anzahl an Clients auf die Daten zugreifen muss (hohe Lesehäufigkeit). Die Metadatensuche ist im Objektspeichermodell schneller.
Lesen Sie auch über Amazon S3-Verschlüsselung, die Ihnen helfen können, Daten zu schützen, die im Amazon S3-Cloud-Speicher gespeichert sind, und die Sicherheit zu verbessern.
Buckets
A bucket ist eine grundlegende logische Einheit, in der Daten im Amazon S3-Speicher gespeichert werden. Sie können eine unendliche Datenmenge und unbegrenzte Anzahl von Objekten in einem Bucket speichern. Jedes S3-Objekt wird in einem Bucket gespeichert. Es gibt eine 5-TB-Grenze für die Größe eines Objekts, das in einem Bucket gespeichert wird. Buckets werden verwendet, um den Namensraum auf höchster Ebene zu organisieren und dienen zur Zugriffskontrolle.
Schlüssel
Ein Objekt hat einen unique key, nachdem es in einen Bucket hochgeladen wurde. Dieser Schlüssel ist eine Zeichenkette, die eine Hierarchie von Verzeichnissen imitiert. Wenn Sie den Schlüssel kennen, können Sie auf das Objekt im Bucket zugreifen. Ein Bucket, ein Schlüssel und eine Versions-ID identifizieren ein Objekt eindeutig. Beispielsweise, wenn der Bucket-Name blog-bucket01 ist, die Region, in der Rechenzentren Ihre Daten speichern, s3-eu-west-1 , und der Objektname test1.txt (eine Textdatei) ist, lautet die URL zur benötigten Datei, die als Objekt im Bucket gespeichert ist: https://blog-bucket01.s3-eu-west-1.amazonaws.com/test1.txt
Berechtigungen müssen durch Bearbeiten von Objekteigenschaften konfiguriert werden, wenn Sie Objekte mit anderen Benutzern teilen möchten. Ähnlich können Sie einen TextFiles Ordner erstellen und die Textdatei in diesem Ordner speichern:
https://blog-bucket01.s3-eu-west-1.amazonaws.com/TextFiles/test1.txt
Es gibt zwei Arten von URLs, die verwendet werden können:
- bucketname.s3.amazonaws.com/objectname
- s3.amazon.aws.com/bucketname/objectname
AWS Regionen
Amazon hat Rechenzentren in verschiedenen Regionen weltweit, einschließlich der USA, Irland, Südafrika, Indien, Japan, China, Korea, Kanada, Deutschland, Italien und Großbritannien. Sie können die Region auswählen, die Sie möchten, wenn Sie einen Bucket erstellen. Es wird empfohlen, dass Sie eine Region wählen, die Ihnen oder Ihren Kunden am nächsten ist, um eine geringere Latenz für eine Netzwerkverbindung zu bieten oder Kosten zu minimieren (da der Preis für die Datenspeicherung je nach Region unterschiedlich ist). Daten, die in einer bestimmten AWS-Region gespeichert sind, verlassen das Rechenzentrum dieser Region nie, bis Sie die Daten manuell migrieren. AWS-Regionen sind voneinander isoliert, um Fehlertoleranz und Stabilität zu bieten.
Jede Region enthält Verfügbarkeitszonen, die isolierte Orte innerhalb einer AWS-Region sind. Mindestens drei Verfügbarkeitszonen sind für jede Region verfügbar, um Ausfälle durch Katastrophen wie Brände, Taifune, Hurrikane, Überschwemmungen usw. zu verhindern.
Das Datenkonsistenzmodell
Die Konsistenzprüfung nach dem Schreiben wird für Objekte im Amazon S3 Speicher durchgeführt. Amazon S3 repliziert Daten über Server und Rechenzentren innerhalb einer ausgewählten Region, um hohe Verfügbarkeit zu erreichen. Nach einem erfolgreichen PUT-Request müssen die geänderten Daten über die Server repliziert werden. Dieser Prozess kann einige Zeit in Anspruch nehmen. Ein Benutzer kann in diesem Fall die alten oder aktualisierten Daten, aber keine beschädigten Daten erhalten. Dies gilt auch für gelöschte Objekte und Buckets. Objekt-Sperren werden nicht durchgeführt, wenn neue Objekte an S3-Buckets gesendet werden. Die neueste PUT-Anfrage gewinnt, wenn mehrere PUT-Anfragen gleichzeitig durchgeführt werden. Sie können Ihre eigene Anwendung mit einem Sperrmechanismus erstellen, der mit in Amazon S3-Speicher eingelagerten Objekten funktioniert.
Amazon S3 Funktionen
Das Konzept des objektbasierten Speichers erlaubt es Amazon, nützliche Funktionen und hohe Flexibilität für die Speicherung und Verwaltung von Daten im Amazon S3 Speicher zu bieten. Lassen Sie uns diese Funktionen überprüfen.
Versionierung
Die Objektversionierung ermöglicht es Ihnen, mehrere Versionen eines Objekts in einem Bucket zu speichern. Diese Funktion kann Objekte, die im Amazon S3 Speicher gespeichert sind, vor unbeabsichtigten Bearbeitungen, Überschreibungen oder Löschungen schützen. Nach dem Ändern oder Löschen eines Objekts können Sie eine der vorherigen Versionen dieses Objekts wiederherstellen. Die Versionierung wird durch die Verwendung des Objektspeicheransatzes implementiert. Sie können die Versionierung zu Archivierungszwecken verwenden. Die Versionierung ist standardmäßig deaktiviert.
Jedem S3-Objekt wird eine Versions-ID zugewiesen, auch wenn die Versionierung nicht aktiviert ist (in diesem Fall ist der Wert der Versions-ID null). Ist die Versionierung aktiviert, wird einer neuen Version des Objekts nach dem Schreiben von Änderungen ein neuer Wert der Versions-ID zugewiesen. Die Versionierung kann auf der Ebene des Buckets aktiviert werden. Der Wert der Versions-ID der ersten Version des Objekts bleibt gleich. Wenn Sie ein Objekt aus einem S3-Bucket löschen (mit aktivierter Versionierung), wird der Löschmarker auf die neueste Version des Objekts angewendet.
Speicherklassen
Amazon S3 Speicherklassen definieren den Zweck des ausgewählten Speichers zur Datenhaltung. Eine Speicherklasse kann auf Objektebene festgelegt werden. Sie können jedoch die Standardspeicherklasse für Objekte festlegen, die auf der Bucketebene erstellt werden.
S3 Standard ist die Standardspeicherklasse. Diese Klasse ist ein Heißdatenspeicher und eignet sich gut für häufig verwendete Daten. Verwenden Sie die Standard-Speicherklasse, um Websites zu hosten, Inhalte zu verteilen, Cloud-Anwendungen zu entwickeln und so weiter. Hohe Speicherkosten, niedrige Wiederherstellungskosten und schneller Zugriff auf die Daten sind Merkmale dieser Speicherklasse.
S3 Standard-IA (seltene Zugriffe) kann verwendet werden, um Daten zu speichern, auf die seltener zugegriffen wird als in S3 Standard. S3 Standard-IA ist für eine längere Speicherdauer optimiert. Für das Abrufen von Daten, die in der S3 Standard-IA Speicherklasse gespeichert sind, fallen Gebühren an. Zusätzlich müssen Sie sowohl in S3 Standard als auch in S3 Standard-IA für Datenanforderungen (PUT, COPY, POST, LIST, GET, SELECT) bezahlen.
S3 One Zone-IA ist für selten aufgerufene Daten ausgelegt. Daten werden nur in einer Verfügbarkeitszone gespeichert (Daten werden für S3 Standard in drei Verfügbarkeitszonen gespeichert), und als Ergebnis wird ein niedrigerer Redundanz- und Resilienzniveau bereitgestellt. Der deklarierte Verfügbarkeitsgrad beträgt 99,5 %, was niedriger ist als bei den beiden anderen Speicherklassen. S3 One Zone-IA hat niedrigere Speicherkosten, höhere Wiederherstellungskosten und Sie müssen für die Datenwiederherstellung auf Basis von GB bezahlen. Sie können diese Speicherschicht als kosteneffizient betrachten, um Backupkopien oder Kopien von Daten zu speichern, die mit Amazon S3 Cross-Region-Replikation erstellt wurden.
S3 Glacier bietet keinen sofortigen Zugriff auf gespeicherte Daten, anders als die anderen Speicherschichten. S3 Glacier kann verwendet werden, um Daten für langfristige Archivierung zu niedrigen Kosten zu speichern. Es gibt keine Garantie für unterbrechungsfreien Betrieb. Es kann von einigen Minuten bis zu einigen Stunden dauern, um die Daten wieder abzurufen. Sie können alte Daten aus einem Speicher höherer Klasse (beispielsweise aus S3 Standard) zu S3 Glacier übertragen, indem Sie S3-Lifecycle-Richtlinien verwenden und die Speicherosten reduzieren.
S3 Glacier Deep Archive ist ähnlich wie S3 Glacier, aber die benötigte Zeit, um die Daten abzurufen, beträgt etwa 12 Stunden bis 48 Stunden. Der Preis liegt unter dem von S3 Glacier. Die S3 Glacier Deep Archive-Speicherklasse kann verwendet werden, um Sicherungen und Archivdaten von Unternehmen zu speichern, die regulatorische Anforderungen für die Datenarchivierung (Finanzen, Gesundheitswesen) einhalten. Dies ist eine gute Alternative zu Bandkassetten.
S3 Intelligent-Tiering ist eine spezielle Speicherklasse, die andere Speicherklassen verwendet. S3 Intelligent-Tiering ist dazu gedacht, automatisch eine bessere Speicherklasse auszuwählen, um Daten zu speichern, wenn Sie nicht wissen, wie oft Sie auf diese Daten zugreifen müssen. Amazon S3 kann Zugriffsmuster auf Daten überwachen, wenn S3 Intelligent-Tiering verwendet wird, und dann die Objekte in einer der zwei ausgewählten Speicherklassen speichern (eine für häufig verwendete Daten und eine für selten verwendete Daten). Dieser Ansatz bietet Ihnen eine optimale Kosteneffizienz, ohne dass die Leistung beeinträchtigt wird.
Beispielsweise, wenn Sie auf ein Objekt zugreifen, das in einer Speicherklasse für selten genutzte Daten gespeichert ist, wird dieses Objekt automatisch in eine Speicherklasse für häufig genutzte Daten verschoben. Andernfalls, wenn ein Objekt für lange Zeit nicht verwendet wurde, wird das Objekt in die Speicherklasse für ungenutzte Daten verschoben. Objekte können sich im gleichen Bucket befinden, und die Speicherklasse wird auf der S3-Objektebene geändert.
Zugriffssteuerungslisten
Eine Zugriffssteuerungsliste (ACL) ist eine Funktion, die verwendet wird, um den Zugang zu Objekten und Buckets zu steuern und zu verwalten. Zugriffssteuerungslisten sind ressourcenbasierte Richtlinien, die an jeden Bucket und jedes Objekt angehängt werden, um die Benutzer und Gruppen zu definieren, die Zugriff auf den Bucket und das Objekt haben. Standardmäßig hat der Ressourcenbesitzer nach dem Erstellen der Ressource vollen Zugriff auf einen Bucket oder ein Objekt. Bucket-Zugriffsberechtigungen definieren, wer auf Objekte im Bucket zugreifen kann. Objektzugriffsberechtigungen legen fest, welche Benutzer auf Objekte zugreifen dürfen und welche Art von Zugriff sie haben. Sie können beispielsweise für einen Benutzer Lesezugriffsberechtigungen und für einen anderen Benutzer Lese- und Schreibzugriffsberechtigungen festlegen.
Die vollständige Liste der Benutzer, denen Berechtigungen erteilt werden können (ein Benutzer mit Berechtigungen wird als „Berechtigungsempfänger“ bezeichnet):
Owner – ein Benutzer, der einen Bucket/ein Objekt erstellt.
Authenticated Users – alle Benutzer, die über ein AWS-Konto verfügen.
All Users – alle Benutzer, einschließlich anonymer Benutzer (Benutzer, die kein AWS-Konto besitzen).
User by Email/Id – ein bestimmter Benutzer, der über ein AWS-Konto verfügt. Die E-Mail-Adresse oder die AWS-ID eines Benutzers muss angegeben werden, um diesem Benutzer Zugriff zu gewähren.
Verfügbare Berechtigungstypen:
Full Control – dieser Berechtigungstyp umfasst die Berechtigungen Lesen, Schreiben, Lesen (ACP) und Schreiben (ACP).
Read – ermöglicht die Auflistung des Bucket-Inhalts, wenn sie auf Bucket-Ebene angewendet wird. Ermöglicht das Lesen der Objektdaten und Metadaten, wenn sie auf Objektebene angewendet wird.
Write – kann nur auf Bucket-Ebene angewendet werden und ermöglicht das Erstellen, Löschen und Überschreiben beliebiger Objekte im Bucket.
Read Permissions (READ ACP) – ein Benutzer kann Berechtigungen für das angegebene Objekt oder den Bucket lesen.
Write Permissions (WRITE ACP) – Ein Benutzer kann die Berechtigungen für das angegebene Objekt oder den Bucket überschreiben. Die Aktivierung dieses Berechtigungstyps für einen Benutzer entspricht der Vergabe von „Vollzugriff“-Berechtigungen, da der Benutzer beliebige Berechtigungen für sein Konto festlegen kann. Diese Berechtigung steht dem Bucket-Eigentümer standardmäßig zur Verfügung.
Bucket-Richtlinien
Bucket-Richtlinien sind ressourcenbasierte AWS-Identitäts- und Zugriffsverwaltungsrichtlinien, die verwendet werden, um bedingte Regeln für die Erteilung von Zugriffsberechtigungen an AWS-Konten und Benutzer beim Zugriff auf Buckets und Objekte in Buckets zu erstellen. Sie können Bucket-Richtlinien verwenden, um Sicherheitsregeln für mehr als ein Objekt in einem Bucket zu definieren.
Die Bucket-Richtlinie wird als JSON-Datei definiert. Der Konfigurationstext der Bucket-Richtlinie muss den Anforderungen des JSON-Formats entsprechen, um gültig zu sein. Die Bucket-Richtlinie kann nur auf Bucket-Ebene zugewiesen werden und wird an alle Objekte im Bucket vererbt. Sie können Benutzern, die sich von bestimmten IP-Adressen aus verbinden, Benutzern bestimmter AWS-Konten usw. Zugriff gewähren.
Nachfolgend sehen Sie ein Beispiel für eine Richtlinie, die allen Benutzern eines Kontos vollen Zugriff und jedem Benutzer eines anderen Kontos Lesezugriff gewährt. {
"Statement": [
{
"Effect": "Allow",
"Principal": {
"SGWS": "95381782731015222837"
},
"Action": "s3:*",
"Resource": [
"urn:sgws:s3:::blog-bucket01",
"urn:sgws:s3:::blog-bucket01/*"
]
},
{
"Effect": "Allow",
"Principal": {
"SGWS": "30284200178239526177"
},
"Action": "s3:GetObject",
"Resource": "urn:sgws:s3:::blog-bucket01/shared/*"
},
{
"Effect": "Allow",
"Principal": {
"SGWS": "30284200178239526177"
},
"Action": "s3:ListBucket",
"Resource": "urn:sgws:s3:::blog-bucket01",
"Condition": {
"StringLike": {
"s3:prefix": "shared/*"
}
}
}
]
}
Benutzer können mithilfe von Zugriffsschlüsseln (Access Key ID und Secret Access Key) auf den Amazon S3-Speicher zugreifen, ohne Benutzername und Passwort eingeben zu müssen. Dieser Ansatz ermöglicht es Ihnen, die Sicherheit zu erhöhen, und wird zur Erstellung von Anwendungen genutzt, die über APIs auf den Amazon S3-Cloud-Speicher zugreifen.
APIs für Amazon S3
Amazon stellt Anwendungsprogrammierschnittstellen (APIs) bereit, um auf S3-Funktionalitäten zuzugreifen und eigene Anwendungen zu entwickeln, die mit dem Amazon S3-Speicher zusammenarbeiten müssen. Amazon stellt REST- und SOAP-Schnittstellen zur Verfügung. Die REST-Schnittstelle arbeitet mit Standard-HTTP-Anfragen für die Arbeit mit Buckets und Objekten. Die REST-API verwendet Standard-HTTP-Header. Die SOAP-Schnittstelle ist eine weitere verfügbare Schnittstelle. Die Verwendung von SOAP über HTTP ist veraltet, Sie können SOAP jedoch weiterhin über HTTPS nutzen.
Das Abrechnungsmodell
Amazon S3 bietet das Modell „Sie zahlen nur für das, was Sie nutzen“. Es gibt keine Mindestgebühr – Sie müssen nicht für eine im Voraus festgelegte Menge an Speicher und Netzwerkverkehr bezahlen. Es gibt verschiedene Nutzungskategorien, für die Gebühren anfallen:
Storage. Sie zahlen für Objekte, die in Amazon S3 gespeichert sind. Der zu zahlende Betrag hängt vom genutzten Speicherplatz, der Zeit der Speicherung der Objekte im Amazon S3-Speicher (innerhalb des Monats) und der für die gespeicherten Objekte verwendeten Speicherklasse ab.
Requests and data retrieval. Sie müssen für Anfragen zum Abruf von Daten bezahlen, die im Amazon S3-Cloud-Speicher gespeichert sind.
Data transfer. Sie müssen für die gesamte genutzte Bandbreite (eingehender und ausgehender Datenverkehr) bezahlen, mit Ausnahme von eingehenden Daten aus dem Internet, ausgehenden Daten, die an Amazon EC2-Instanzen übertragen werden, die sich in derselben AWS-Region wie der Quell-S3-Bucket befinden, sowie Daten, die von einem S3-Bucket an CloudFront gesendet werden.
Management and replication. Sie müssen für die Nutzung von Speicher-Management-Funktionen wie Analysen und Objekt-Tagging bezahlen. Amazon erhebt Gebühren für die regionenübergreifende Replikation und die Replikation innerhalb derselben Region.
Verwenden Sie Amazon S3-Rechner, um Ihre Kosten zu schätzen.
