WEBVTT

00:00:00.000 --> 00:00:02.745
>> Big-Data-Cluster bieten

00:00:02.745 --> 00:00:05.640
eine Möglichkeit, den Cluster zu halten
zuverlässig durch die

00:00:05.640 --> 00:00:08.460
hohe Verfügbarkeit für kritische
Komponenten und Mihaela ist

00:00:08.460 --> 00:00:12.120
hier, um uns alles über
heute auf Daten ausgesetzt.

00:00:12.120 --> 00:00:23.400
[MUSIK]

00:00:23.400 --> 00:00:26.475
>> Hallo, und willkommen zu einem anderen
Episode von Data Exposed.

00:00:26.475 --> 00:00:30.480
Ich bin dein Gastgeber Jeroen und heute
wir haben Mihaela mit uns zu sprechen

00:00:30.480 --> 00:00:32.265
über Big Data-Cluster und

00:00:32.265 --> 00:00:34.970
insbesondere die hohen
Verfügbarkeit für sie.

00:00:34.970 --> 00:00:37.655
Also willkommen zurück. Dies ist
das vierte Mal, denke ich.

00:00:37.655 --> 00:00:39.560
>> ja. Danke. Danken
Sie, weil Sie mich hier haben.

00:00:39.560 --> 00:00:40.985
>> ja. Sie werden zu einer Sonde.

00:00:40.985 --> 00:00:43.550
So die meisten Themen, die Sie sprechen

00:00:43.550 --> 00:00:46.445
Über big Data Cluster
und heute ist nicht anders.

00:00:46.445 --> 00:00:48.345
Aber dann hohe Verfügbarkeit, oder?

00:00:48.345 --> 00:00:50.780
>> ja. Es gibt also
eine Menge Dinge, um

00:00:50.780 --> 00:00:53.360
sprechen sie darüber, wann es kommt
hochverfügbarkeitsbeständige.

00:00:53.360 --> 00:00:54.155
>> Okay.

00:00:54.155 --> 00:00:57.590
>> Wir werden einige
dieser Aspekte in diesem Video.

00:00:57.590 --> 00:00:59.785
>> Okay. Cool. Jetzt fangen wir an.

00:00:59.785 --> 00:01:05.745
>> Wenn wir also über Daten sprechen
insbesondere und Datenbanken,

00:01:05.745 --> 00:01:07.800
wollen wir sicherstellen, dass
Daten ist Persistenz.

00:01:07.800 --> 00:01:09.110
Also möchte ich nur mit

00:01:09.110 --> 00:01:13.430
dieser Hochverfügbarkeits-Talk
mit der Speicherzusammenfassung.

00:01:13.430 --> 00:01:13.650
>> Okay.

00:01:13.650 --> 00:01:14.850
>> So verschiedene Schichten in

00:01:14.850 --> 00:01:17.840
der Big Data Cluster
verschiedene Speicheroptionen.

00:01:17.840 --> 00:01:20.180
Sie können entweder einen lokalen Speicher oder

00:01:20.180 --> 00:01:23.150
entfernt und wir haben es so granular wie

00:01:23.150 --> 00:01:25.970
Sie können sich für lokale oder Remote-

00:01:25.970 --> 00:01:28.895
abhängig davon, ob Sie
Daten oder die Protokolle speichern.

00:01:28.895 --> 00:01:33.680
So Protokolle, die Sie nicht wollen
notwendigerweise überflüssig zu machen, um es überflüssig zu machen

00:01:33.680 --> 00:01:36.865
weil Sie es für

00:01:36.865 --> 00:01:40.930
Fehlerbehebung, aber dann Sie
wollen sie nicht für immer behalten.

00:01:41.090 --> 00:01:42.190
>> [unhörbar].

00:01:42.190 --> 00:01:44.840
>> Genau. Also, wenn
wir sprechen über Protokolle ist

00:01:44.840 --> 00:01:48.140
meistens möchten Sie
sie auf einem lokalen Speicher

00:01:48.140 --> 00:01:52.355
vor allem, weil wir
im letzten Video, das wir haben

00:01:52.355 --> 00:01:54.590
Komponenten in den Clustern, die

00:01:54.590 --> 00:01:57.410
Sammeln dieser Protokolle und sind
sie in einer elastischen Suche zu starten.

00:01:57.410 --> 00:02:01.615
Sie haben also bereits einige
Abhängigkeit von diesem Aspekt.

00:02:01.615 --> 00:02:04.410
Wenn es um Daten geht,
verschiedene Komponenten

00:02:04.410 --> 00:02:08.270
unterschiedliche Anforderungen haben
je nachdem, wie

00:02:08.270 --> 00:02:10.730
eine Mission kritisch sind und wenn es

00:02:10.730 --> 00:02:15.140
alle gespeicherten Benutzerdaten
für Daten z.B.

00:02:15.140 --> 00:02:20.030
SQL Server-Master oder -Speicher
wie HDFS-Daten beibehalten werden.

00:02:20.030 --> 00:02:22.955
Sie möchten
Redundanz dafür.

00:02:22.955 --> 00:02:28.445
Aber Compute Pool oder Spark,

00:02:28.445 --> 00:02:30.695
es gibt keinen Zustand.

00:02:30.695 --> 00:02:33.380
Es ist nur Rechenleistung.
Es hat also keinen Sinn

00:02:33.380 --> 00:02:36.560
, um zusätzliche
Redundanz an den Speicher.

00:02:36.560 --> 00:02:38.225
>> Genau. So können Sie lokal wählen.

00:02:38.225 --> 00:02:39.470
>> Also sprechen wir hier über

00:02:39.470 --> 00:02:42.260
verschiedene Optionen, die
Sie müssen sicherstellen, dass

00:02:42.260 --> 00:02:44.810
die Zuverlässigkeit dieser Dienstleistungen

00:02:44.810 --> 00:02:46.400
wenn es um Datenpersistenz geht.

00:02:46.400 --> 00:02:47.620
>> Okay.

00:02:47.620 --> 00:02:51.575
>> Hier geht es weiter
mit den HA-Optionen, nicht wahr?

00:02:51.575 --> 00:02:55.985
Also für SQL Server-Master, wenn Ihre
Story in Ihren Daten lokal,

00:02:55.985 --> 00:02:57.725
Sie müssen sicherstellen, dass Sie

00:02:57.725 --> 00:02:59.675
zusätzliche Redundanz

00:02:59.675 --> 00:03:01.340
mit Verfügbarkeitsgruppen
und wir werden

00:03:01.340 --> 00:03:04.160
sehen Sie in Kürze, wie das aktiviert ist.

00:03:04.160 --> 00:03:05.990
Wenn es um Denkpool geht,

00:03:05.990 --> 00:03:13.970
Sie PVs in Kombinator verwenden, um
sicherstellen, dass die Daten persistent sind.

00:03:13.970 --> 00:03:15.350
>> Also sind es nur PVs, oder?

00:03:15.350 --> 00:03:16.505
Es gibt viele Akronyme hier.

00:03:16.505 --> 00:03:17.240
>> ja.

00:03:17.240 --> 00:03:21.110
>> Z.B. PV, HA, alles PV ist?

00:03:21.110 --> 00:03:25.175
>> Schlägt PVs vor
ein Kubernetes-Konzept

00:03:25.175 --> 00:03:28.250
die speicherebene von

00:03:28.250 --> 00:03:32.090
Kubernetes und stellt sicher, dass Sie
mit persistenten Volumes.

00:03:32.090 --> 00:03:35.270
Der Begriff ist also Datenpersistenz.

00:03:35.270 --> 00:03:37.010
Wenn Sie also
persistentes Volumen ist es

00:03:37.010 --> 00:03:38.840
bedeutet, dass Kubernetes sicherstellt, dass

00:03:38.840 --> 00:03:42.440
Daten werden auf diesem Speicher gespeichert.

00:03:42.440 --> 00:03:43.580
>> Okay. Ich hab es.

00:03:43.580 --> 00:03:46.655
>> Auch das ist nicht notwendig, um

00:03:46.655 --> 00:03:49.435
hohe Verfügbarkeit für Compute
weil es staatenlos ist.

00:03:49.435 --> 00:03:52.110
Es hat kritische Komponenten

00:03:52.110 --> 00:03:53.870
im Hadoop-Stack
richtig, wenn es darum geht,

00:03:53.870 --> 00:03:56.600
HDFS NameNode und einige Spark haben Folgendes geteilt

00:03:56.600 --> 00:04:00.545
Dienstleistungen, die Sie benötigen, um
hohe Verfügbarkeit für,

00:04:00.545 --> 00:04:03.020
und sehr wichtig Ich
wollen hier hervorheben

00:04:03.020 --> 00:04:09.000
den Kontrolldienst, den Sie
haben nicht nur anhaltendes Volumen,

00:04:09.000 --> 00:04:11.490
Sie müssen einige hinzufügen
Redundanz zu dieser Geschichte.

00:04:11.490 --> 00:04:14.135
Es muss also einige
Remote-redundanten Speicher.

00:04:14.135 --> 00:04:16.940
Behalten Sie Ihre Kontrolle nicht bei [unhörbar]

00:04:16.940 --> 00:04:21.410
vor Ort, denn wenn das
Knoten ist hier der letzte,

00:04:21.410 --> 00:04:23.960
so ziemlich ganzer Cluster ist
nicht in einem sehr eingeschränkten.

00:04:23.960 --> 00:04:28.130
>> Okay. So Control haben
PVs auf einem Remote-Speicher?

00:04:28.130 --> 00:04:29.270
>> Remote und redundant.

00:04:29.270 --> 00:04:31.100
Sie müssen also
sicher, dass sie

00:04:31.100 --> 00:04:33.005
etwas Redundanz auf diese Ebene.

00:04:33.005 --> 00:04:34.710
>> Okay. Notiert.

00:04:34.710 --> 00:04:37.290
>> So sehen wir uns jetzt
was das für

00:04:37.290 --> 00:04:41.085
SQL Server-Master und
ag es dafür zu ermöglichen.

00:04:41.085 --> 00:04:45.095
Dies ist also ein Schema oder

00:04:45.095 --> 00:04:50.045
wie das Layout verschiedener Dienstleistungen
die den SQL Server bilden,

00:04:50.045 --> 00:04:55.190
Hochverfügbarkeitsschicht
für SQL Server-Master.

00:04:55.190 --> 00:04:57.020
Auch hier haben wir eine primäre

00:04:57.020 --> 00:05:00.785
mindestens zwei Secondaries
rechts synchron,

00:05:00.785 --> 00:05:04.670
und wir bauten Komponenten, die

00:05:04.670 --> 00:05:08.985
sorgen dafür, dass es
ist die automatische Überwachung,

00:05:08.985 --> 00:05:11.370
automatisches Failover
und Orchestrierung.

00:05:11.370 --> 00:05:12.960
Wenn etwas mit einem primär

00:05:12.960 --> 00:05:17.675
es geschieht automatisch,
ist nicht notwendig, etwas zu tun.

00:05:17.675 --> 00:05:20.330
Eine Sache, die ich will
um hier hervorzuheben ist

00:05:20.330 --> 00:05:23.870
das für Big Data Cluster
nur zu diesem Zeitpunkt,

00:05:23.870 --> 00:05:27.755
ermöglichen wir auch das, was wir als
Enthaltene Verfügbarkeitsgruppe,

00:05:27.755 --> 00:05:30.920
was bedeutet, dass nun Objekte, die

00:05:30.920 --> 00:05:33.920
Sie speichern in Master zum Beispiel wie

00:05:33.920 --> 00:05:40.190
Logins werden auch repliziert
an die Secondaries, oder?

00:05:40.190 --> 00:05:40.380
>> Okay.

00:05:40.380 --> 00:05:43.880
>> So ist bis jetzt
entlang senden uns von

00:05:43.880 --> 00:05:45.770
unsere Kunden zu machen
Sicher, dass Logins

00:05:45.770 --> 00:05:47.930
werden auch anders repliziert,

00:05:47.930 --> 00:05:49.610
es gibt eine Menge Anschuldigungen und

00:05:49.610 --> 00:05:51.935
manuelle Replikation, die sie zu tun hatten.

00:05:51.935 --> 00:05:55.290
Jetzt automatisch
alles ist für sich gesorgt.

00:05:55.290 --> 00:05:57.060
Also von der Bereitstellung, vom Hinzufügen

00:05:57.060 --> 00:05:59.130
Datenbanken an die Verfügbarkeitsgruppen,

00:05:59.130 --> 00:06:05.330
Zum Hinzufügen dieses Masters repliziert
Datenbankverfügbarkeitsgruppen.

00:06:05.330 --> 00:06:08.555
Es gibt also wenig, wenn nicht

00:06:08.555 --> 00:06:13.130
unter operativem Management von

00:06:13.130 --> 00:06:16.620
die Verfügbarkeitsgruppe.
Das ist ziemlich genial.

00:06:16.620 --> 00:06:18.660
>> ja. Das ist wirklich
Prima. Ich wollte sagen.

00:06:18.660 --> 00:06:21.230
Also, aber Sie haben erwähnt
Verfügbarkeitsgruppen jetzt, oder?

00:06:21.230 --> 00:06:21.390
>> ja.

00:06:21.390 --> 00:06:24.330
>> Ist das der Stammgast?

00:06:24.330 --> 00:06:27.200
>> ja. Es ist genau
die gleiche Funktion, die wir

00:06:27.200 --> 00:06:30.050
alle wissen von SQL Server 2012, nicht wahr?

00:06:30.050 --> 00:06:30.605
>> ja.

00:06:30.605 --> 00:06:33.440
>> Eine Sache, die
Es ist sehr wichtig.

00:06:33.440 --> 00:06:35.960
Es gibt keine andere Cluster-Technologie

00:06:35.960 --> 00:06:39.365
dass Sie
bereitstellen oder integrieren.

00:06:39.365 --> 00:06:41.445
Es ist alles gepflegt,

00:06:41.445 --> 00:06:44.590
die Dienste, die bereitgestellt werden
mit dem HA-Supervisor,

00:06:44.590 --> 00:06:45.730
betreibern und

00:06:45.730 --> 00:06:49.840
Kurs eng integrieren mit
Kubernetes schriftlich diesen Fall.

00:06:49.840 --> 00:06:52.560
Wir nutzen also die Vorteile
dieser Plattformen.

00:06:52.560 --> 00:06:54.100
>> Also keine Cluster-Technologie mehr.

00:06:54.100 --> 00:06:56.650
Das ist also toll für das Mastering.

00:06:56.650 --> 00:07:00.510
Jetzt vertraue ich dem Meister
Instanzen ist in Ordnung.

00:07:00.510 --> 00:07:02.250
Aber es gibt mehr in BDC, nicht wahr?

00:07:02.250 --> 00:07:03.965
Wir machen nicht nur einen SQL Server,

00:07:03.965 --> 00:07:05.980
wir tun [unhörbar]
verwandte Sachen.

00:07:05.980 --> 00:07:07.510
Sagen Sie es mir.

00:07:07.510 --> 00:07:10.230
>> Schauen wir uns also an, was wir sind
tun für Hadoop, für HDFS.

00:07:10.230 --> 00:07:13.690
HdFS NameNode muss also auch in

00:07:13.690 --> 00:07:16.540
eine hochverfügbare Konfiguration
weil das entscheidend ist

00:07:16.540 --> 00:07:20.035
für den Hadoop Stack,

00:07:20.035 --> 00:07:23.205
und was wir sehen, dass die
Kunde sagt uns: ''Oh,

00:07:23.205 --> 00:07:26.395
Ich möchte Replikation für NameNode'',

00:07:26.395 --> 00:07:28.640
würde auch Zookeeper einsetzen, die

00:07:28.640 --> 00:07:31.430
ist eine Open-Source-Cluster-Technologie.

00:07:31.430 --> 00:07:35.750
Das ist die Komponente, die
sich um die Koordination zu kümmern

00:07:35.750 --> 00:07:39.800
Überwachung und das Fail-over, wenn

00:07:39.800 --> 00:07:44.970
benötigt vom NameNode
zu einem Standby-Sekundär.

00:07:44.970 --> 00:07:45.070
>> Okay.

00:07:45.070 --> 00:07:47.330
>> So wird ein zusätzliches Replikat bereitgestellt

00:07:47.330 --> 00:07:49.985
und Zoowärter kümmert sich
des Orchestrierungsaspekts.

00:07:49.985 --> 00:07:50.675
>> Okay.

00:07:50.675 --> 00:07:55.235
>> Gleichzeitig
es ist auch an der

00:07:55.235 --> 00:07:58.580
Aufrechterhaltung einer hohen Verfügbarkeit für

00:07:58.580 --> 00:08:03.679
einige Spark-Freigabekomponenten
wie Yarn Resource Manager,

00:08:03.679 --> 00:08:07.520
und in diesem Sinne für
Spark wir auch bereitstellen

00:08:07.520 --> 00:08:12.200
Mehrere Replikate für Dienste
wie Spark History, Job History.

00:08:12.200 --> 00:08:15.515
Um sicherzustellen, dass, wenn etwas

00:08:15.515 --> 00:08:19.900
in OneNote weiter, die
diese Dienste werden gehostet,

00:08:19.900 --> 00:08:23.495
Die [unhörbar] würde ausgewählt werden
oder zusätzliche Replikate.

00:08:23.495 --> 00:08:24.790
>> Cool.

00:08:24.790 --> 00:08:28.490
>> Mal sehen, wie einfach es ist,

00:08:28.490 --> 00:08:32.570
Konfigurieren der Hochverfügbarkeit
für die verschiedenen Komponenten.

00:08:32.570 --> 00:08:33.530
>> Sagen Sie mir, es ist einfach.

00:08:33.530 --> 00:08:35.510
>> Es ist super einfach.

00:08:35.510 --> 00:08:38.280
>> Cool. Ich mag einfach.

00:08:38.470 --> 00:08:42.740
>> Wir haben das letzte Mal darüber gesprochen, wie
, um Ihre Bereitstellungen zu konfigurieren.

00:08:42.740 --> 00:08:43.820
>> Ja. Daran erinnere ich mich.

00:08:43.820 --> 00:08:47.270
>> Es gibt den Cluster
Konfigurationsdateien

00:08:47.270 --> 00:08:49.675
oder Bereitstellungsvorlagen
die du hast,

00:08:49.675 --> 00:08:52.280
und denken Sie daran, dass wir
früher über

00:08:52.280 --> 00:08:55.700
die Spark-Freigabekomponenten.

00:08:55.700 --> 00:08:56.210
>> ja.

00:08:56.210 --> 00:08:59.975
>> Ich sage nur, ich will nur zwei
Repliken von ihnen und das war's.

00:08:59.975 --> 00:09:02.060
Wir kümmern uns um
von dort abholen.

00:09:02.060 --> 00:09:03.020
>> Ist das alles?

00:09:03.020 --> 00:09:04.610
>> Der Zoowärter. Also wieder,

00:09:04.610 --> 00:09:08.450
müssen wir alle
Komponenten, die wir durchlaufen haben.

00:09:08.450 --> 00:09:12.980
Zookeeper werden wir brauchen
drei Replikate, um das Quorum zu gewährleisten.

00:09:12.980 --> 00:09:16.145
Dann haben wir auch Meister erwähnt,

00:09:16.145 --> 00:09:19.465
SQL Server-Masterinstanz
und was mache ich hier?

00:09:19.465 --> 00:09:22.755
Ich würde nur sagen, dass ich
drei Repliken wollen,

00:09:22.755 --> 00:09:26.930
und weil SQL Server
Verfügbarkeitsgruppen

00:09:26.930 --> 00:09:28.985
ermöglicht auch lesbare Secondaries,

00:09:28.985 --> 00:09:31.640
gibt Ihnen die Möglichkeit,

00:09:31.640 --> 00:09:36.440
Stellen Sie einen Dienst bereit, der
stellt einen Endpunkt

00:09:36.440 --> 00:09:39.920
zur Remote-Arbeitslast

00:09:39.920 --> 00:09:41.780
aus dem sekundären
und du musst nur

00:09:41.780 --> 00:09:44.015
geben Sie in diesem Fall den Port an.

00:09:44.015 --> 00:09:47.900
>> Richtig. So tun Sie eine hohe
Verfügbarkeit und als Teil davon

00:09:47.900 --> 00:09:49.980
Sie könnten auch die
schreibgeschützt, [unhörbar]

00:09:49.980 --> 00:09:51.365
>> Genau. Ja.

00:09:51.365 --> 00:09:54.290
>> Cool. Ist das, wie Sie dies lesen
wie eine Zeile [unhörbar]?

00:09:54.290 --> 00:09:57.470
>> ja. Sie geben nur an,
wie viele Replikate Sie

00:09:57.470 --> 00:10:02.480
keine Sorge über die Orchestrierung,

00:10:02.480 --> 00:10:05.900
Bereitstellen zusätzlicher
Komponenten wie wenn Sie

00:10:05.900 --> 00:10:09.545
uns, dass ich drei Repliken will
für SQL Server-Master,

00:10:09.545 --> 00:10:10.820
wir stellen den Bediener bereit,

00:10:10.820 --> 00:10:12.260
haben wir den Supervisor eingesetzt, der

00:10:12.260 --> 00:10:14.030
Die Überwachung
und alles andere.

00:10:14.030 --> 00:10:17.180
So ist alles hinter
die Szenen und dass

00:10:17.180 --> 00:10:21.380
ist minimale Orchestrierung
zum Einrichten.

00:10:21.380 --> 00:10:23.840
Für Leute, die
sehr vertraut mit, wie

00:10:23.840 --> 00:10:27.905
, um eine Verfügbarkeit zu konfigurieren
Gruppen, die ich denke, es ist

00:10:27.905 --> 00:10:32.090
mindestens vier oder fünf
T-SQL-Anweisungen

00:10:32.090 --> 00:10:34.970
plus Prepping-Endpunkte
und solche Dinge.

00:10:34.970 --> 00:10:37.355
Das ist also stachelig gefragt.

00:10:37.355 --> 00:10:39.830
Es nimmt diese Last von YouTube zu

00:10:39.830 --> 00:10:42.415
Fokus auf die tatsächlichlaufende
was auf den Big Data ist.

00:10:42.415 --> 00:10:44.940
>> Richtig. Mehr wird es nicht
einfach als dies, nicht wahr?

00:10:44.940 --> 00:10:45.420
>> Es ist.

00:10:45.420 --> 00:10:48.350
>> Eine Zeile und dann natürlich, wenn
die Master-Instanz, wenn Sie möchten

00:10:48.350 --> 00:10:52.430
mehr Zeilen nur lesen, aber
Ja, das ist wirklich beeindruckend.

00:10:52.430 --> 00:10:54.740
Cool. Wo kann ich also
mehr dazu?

00:10:54.740 --> 00:10:56.385
Wie beginne ich?

00:10:56.385 --> 00:11:00.920
>> So auf jeden Fall zeige ich ihnen

00:11:00.920 --> 00:11:03.915
genau einige Links
die Sie nutzen können

00:11:03.915 --> 00:11:07.140
für die Bereitstellung,
für die Konfiguration.

00:11:07.140 --> 00:11:11.749
So können Sie mehr über
es in unserer Dokumentationsplattform

00:11:11.749 --> 00:11:14.000
aber wir haben auch eine Menge
von Proben da draußen

00:11:14.000 --> 00:11:16.460
wie Dinge konfiguriert werden.

00:11:16.460 --> 00:11:18.500
Wie man Workloads ausführt,

00:11:18.500 --> 00:11:21.380
und alles, was Sie
kann weiterverwendet werden

00:11:21.380 --> 00:11:24.350
diese Verknüpfungen und nutzen sie für
was tun, was sie tun wollen.

00:11:24.350 --> 00:11:25.490
Sie werden unsere Cluster sein.

00:11:25.490 --> 00:11:28.550
>> Cool. Nun, nochmals vielen Dank für
Teilen und Reden, obwohl dies.

00:11:28.550 --> 00:11:30.260
Das ist sehr beeindruckend.

00:11:30.260 --> 00:11:32.555
Ich mag die Leichtigkeit, dies zu schaffen.

00:11:32.555 --> 00:11:32.760
>> ja.

00:11:32.760 --> 00:11:34.700
>> Das ist eindeutig eine Menge Arbeit.

00:11:34.700 --> 00:11:36.695
>> Ziemlich genial. Ja. Danke.

00:11:36.695 --> 00:11:39.410
>> Nun, danke. Danken
Sie zum Zuschauen.

00:11:39.410 --> 00:11:41.525
Bitte like, abonnieren,
einen Kommentar hinterlassen,

00:11:41.525 --> 00:11:43.830
und hoffen, Sie zu sehen
das nächste Mal. Danke.

00:11:43.830 --> 00:11:55.690
[MUSIK]