Resurshantering, programmeringsverktyg, Uppgiftsövervakning, Data Analytics, & Webbsäkerhet

Apache Mesos är ett öppen källkodsprojekt som abstraherar CPU, RAM, lagring och andra datorresurser tillgängliga över flera hårdvaruinstanser i ett datacenter på ett enhetligt sätt så att systemadministratörer kan driva hela nätverket som en enda dator. Apache Mesos tillhandahåller en uppsättning unika API: er för resurshantering i molnberäkning som kan skala till över 10 000 noder, integrerad med andra ramverk som Hadoop, Chronos, Spark, Cassandra, & Kafka för komplexa distributioner av webb / mobilapp. Apache Mesos används av Apple, Microsoft, PayPal, Twitter, Verizon, Samsung, Netflix, eBay, Bloomberg, AirBNB, Yelp, Uber, China Mobile, & många andra företag för sina krav för datahantering. Benjamin Hindman, en av de grundläggande grundarna av Mesos / Nexus vid UC Berkeley, lanserade startföretaget Mesosphere 2013 som producerar DC / OS (Datacenter Operating System) som en produktionsklar distribution av koden designad för företagsbruk. Mesosphere DC / OS innehåller elastiska klusterresurshanteringsverktyg som möjliggör molnorkestrering i skala med Docker Swarm, Kubernetes eller Marathon. Den senaste versionen av Apache Mesos (version 1.5) inkluderar stöd för Container Storage Interface (CSI) som gör att systemet automatiskt kan skapa lagringspartitioner baserade på förinställda applikationsparametrar med plattformskompatibilitet med flera moln. Den nya utgåvan inkluderar också bättre konfigurationsstöd för Windows-miljöer, ett fristående behållarformat och förbättrad containeravfallssamling.


Resurshantering, programmeringsverktyg, Uppgiftsövervakning, Data Analytics och webbsäkerhet

Apache Mesos & Mesosphere DC / OS – Datacenter-operativsystemet

Apache Mesos började 2009 vid University of California – Berkeley med namnet på forskningsprojektet "Nexus" utvecklad av Ben Hindman, Andy Konwinski, & Matel Zaharia. Just nu hade Google inte släppt koden för Kubernetes till allmänheten och många företag letade efter ett sätt att replikera "Borg" funktionalitet för storskalig datacenterhantering i IT-företag. 2010 gav trioen en presentation på Twitter om projektet och släppte en akademisk artikel med titeln "Mesos: En plattform för finkornig resursdelning i datacentret" om ämnet. Samma år kom Mesos in i Apache-inkubatorn på open source-licensieringsstiftelser för vidareutveckling av programmerare internationellt. Användningen av Mesos i storskalig datacenterhantering antogs av Twitter, eBay, PayPal och många andra nystartade företag för distribution av klusterserver, uppfyllande CI / CD-krav i Agile-projekthantering, automatisering av systemuppgifter, & schemaläggning av aggregerade resurser för produktionsapplikationer. Många av de största telekom- och IT-företagen använder nu Apache Mesos & DC / OS som en ledande industristandard. Till exempel har Microsoft distribuerat det som en del av deras Azure Cloud-produktsvit, Apple använder den för att köra Siri med J.A.R.V.I.S, Netflix implementerar det för deras Titus-molnbehållare för orkestrering och Uber har utvecklat sina "stor data" analysplattform runt det. Apache Mesos & DC / OS rekommenderas av devops-team i dessa företag för den omfattande Jenkins, Chef, Puppet, & Ansvariga integrationsfaciliteter tillhandahållna, med förmågan att köra i både privata moln och allmänna molnmiljöer agnostiskt.

Apache Mesos & Mesosphere DC / OS - Datacenter operativsystem

Mesosphere DC / OS: ‘Begrepp som mikroservice, containerisering, “snabb data” analys och svar, distribuerad databehandling och insamling och svar av kantdata var banbrytande koncept när företaget började 2013. Med byggnad ovanpå Apache Mesos försökte Mesosphere att sammanföra alla verktyg som behövs för att driva datakrävande moderna applikationer som container orkestrering, distribuerade databaser, meddelandeköer, dataströmning och bearbetning, maskininlärning, övervaknings- och hanteringsfunktioner, säkerhetsverktyg, distributionsautomation med mera. Sedan lanseringen 2015 Mesosphere DC / OS “operativ system” har gjort det enkelt att distribuera, ansluta och elastiskt skala över 100 öppna källkodstjänster och kommersiella tjänster med ett enda klick, och underbygger allt från webbskala applikationer, till IoT och autonoma bilar, till bank- och handelssystem. ‘ Läs mer om Kubernetes på Mesosphere DC / OS.

Container Orchestration: Docker Swarm, Kubernetes, & Maraton

Mesosphere DC / OS är extremt flexibelt enligt licensieringsriktlinjer för öppen källkod och modulära under objektorienterade principer så att tredjepartsprogrammerare, utvecklingsteam, & företag kan bygga tillägg för plattformen som gör att den kan anpassas på nya sätt. I likhet med Linux fungerar Apache Mesos som "kärna" att förena alla datacentrets hårdvarukällor med den nödvändiga verktygsprogramvaran, där Mesosphere DC / OS är operativsystemet som kan installeras med olika applikationer i de översta lagren. Mesosphere DC / OS-staplar integreras med Apache Hadoop, Spark, Cassandra, Kafka, Infinity, Velocity, Zeppelin, etc. så att nya webb- / mobilappar kan utvecklas inklusive funktionalitet som inte skulle vara möjligt med andra programverktyg eller databasplattformar. Mesosphere DC / OS sparar pengar för företag genom att inte kräva att de bygger upp alla grundläggande element för datacentret upprepade gånger ovanpå Apache Mesos-kodbasen, och plattformen är relativt enkel att använda "utanför lådan" för ett brett utbud av olika scenarier. För containerorkestrering har utvecklare valet av Docker eller Mesos egen egen containerstandard som är en del av kärndistributionen. På liknande sätt kan organisationer välja att arbeta med Docker Swarm, Kubernetes eller Marathon för klusterserverhantering, resursallokering, schemaläggning, synkronisering och artefaktscenerering i webb- / mobilappproduktion. Marathon garanterar hög tillgänglighet med 100% drifttid för flera containertimmar, tillståndsappar, upptäckt av tjänster, lastbalansering, hälsokontroller, prenumeration på händelser, virtuell IP-routing och mätningar. Mesosphere DC / OS kan installeras i privata molndatacenter som körs tillsammans med VMware vSphere eller OpenStack-integration, liksom på offentliga molnplattformar som AWS, Microsoft Azure och Google Cloud Engine. Med detta system kan företag konfigurera sina resurser för att stödja flera utvecklingsgrupper och programvaruprodukter med identitetshantering, åtkomstkontroll, klusterbredd ansluten enhetskryptering och minskad privilegieökning.

Container Orchestration: Docker Swarm, Kubernetes & Marathon

Microservices: "Datapipelines förlitar sig på flera tätt kopplade tekniker för att lyckas. Att bygga en datapipeline innefattar att integrera olika tekniker som distribuerade analysmotorer (Apache Spark), distribuerade meddelandeköer (Apache Kafka) och distribuerade lagringssystem (Apache Cassandra). Många organisationer kämpar emellertid för att bygga och underhålla datapipelines eftersom de är extremt komplexa, de består av flera komponenter som kräver noggrann drift och administration för att få maximalt värde och undvika dataförlust … Stora webborganisationer pionjärer i användningen av en datacenterklusterhanterare som Apaches Mesos för att effektivt bygga och underhålla komplexa distribuerade system. Mesosphere DC / OS, drivet av Apache Mesos, hjälper datatekniker och DevOps-team att förenkla installationen och driften av datapipelines på alla infrastrukturer." Läs mer om hur du använder Apache Mesos med Cassandra, Kafka, Zeppelin, & Gnista.

Apache Mesos & Mesosphere DC / OS – Resurser

Som Apache Mesos & Mesosphere DC / OS har blivit allmänt antagen inom företagets datacenterhantering och molnorkestrering för webb- / mobilappar, det har blivit ett allt större antal inlärningsresurser för systemadministratörer, programmerare och utvecklare som vill arbeta med plattformen . Framför allt är de akademiska artiklar som publicerats av grundarna som formulerar de grundläggande principerna och filosofin bakom koden:

  • Mesos: En plattform för finkornig resursdelning i datacentret (2010)
  • Datacentret behöver ett operativsystem (2011)
  • Omega: flexibla, skalbara schemaläggare för stora datorkluster (2013)
  • En arkitektur för snabb och allmän databehandling av stora kluster (2014)

Dessutom finns det ett antal utmärkta böcker, bildspel, videor och användning av case-scenarier om ämnet, med GitHub som den rekommenderade resurswebbplatsen för att få åtkomst till kod och information om tredjepartsprojekt som ansluter till Mesosphere DC / OS för att utöka dess funktionalitet.

Böcker:

  • Apache Mesos Essentials – Dharmesh Kakadia (2015)
  • Big Data SMACK: En guide till Apache Spark, Mesos, Akka, Cassandra och Kafka – Raul Estrada & Isaac Ruiz (2016)
  • Mesos i aktion – Roger Ignazio (2016)
  • Bygga applikationer på Mesos: utnyttja fjädrande, skalbara och distribuerade system – David Greenberg (2016)
  • Cloud Native Infrastructure: Mönster för skalbar infrastruktur och applikationer i en dynamisk miljö – Justin Garrison &‎ Kris Nova (2017)

Slide Presentations:

  • Introduktion till Apache Mesos (Thomas Barton)
  • Introduktion till Apache Mesos (Joe Stein)
  • Skalar som Twitter med Apache Mesos

Videoklipp:

  • John Wilkes – Google Fakultetstoppmöte (2011)
  • John Wilkes – Omega: flexibla, skalbara schemaläggare för stora datorkluster (2013)
  • Container Pods med Docker Compose i Apache Mesos (PayPal)
  • MesosCon Europe 2017

Använd fall-scenarier:

  • Uber
  • Netflix
  • Äpple
  • Twitter
  • Kina mobil

GitHub-projekt:

  • Maraton
  • Svan
  • Fenzo (Netflix)

Apache Mesos & Mesosphere DC / OS - Resurser

Apache Mesos: "Mesos består av en masterdemon som hanterar agentdemoner som körs på varje klusternod och Mesos-ramverk som kör uppgifter på dessa agenter. Befälhavaren möjliggör finkornig delning av resurser (CPU, RAM, etc.) över ramverk genom att göra dem till resurserbjudanden … Befälhavaren bestämmer hur många resurser som ska erbjudas till varje ram enligt en given organisationspolitik, till exempel rättvis delning eller strikt prioritering. För att stödja en mängd olika policyer använder master en modulär arkitektur som gör det enkelt att lägga till nya tilldelningsmoduler via en plugin-mekanism. Ett ramverk som körs ovanpå Mesos består av två komponenter: en schemaläggare som registrerar sig med befälhavaren som ska erbjudas resurser, och en exekveringsprocess som startas på agentnoder för att köra ramverket’s uppgifter … Medan befälhavaren bestämmer hur många resurser som erbjuds till varje ram, väljer ramverkens schemaläggare vilka av de erbjudna resurserna att använda. När ett ramverk accepterar erbjudna resurser skickas det till Mesos en beskrivning av de uppgifter den vill köra på dem. I sin tur lanserar Mesos uppgifterna på motsvarande agenter." Läs mer om Apache Mesos Arkitektur.

Mesosphere har tagit emot $ 122 miljoner USD i finansiering för venturestart sedan 2013 från Microsoft, Hewlett Packard, Khosla Ventures, Andreessen Horowitz, Fuel Capital och andra företag för att fortsätta utvecklingen av DC / OS-plattformen. Företaget har varit värd för fyra MesosCon-konventioner i Nordamerika, tre i Europa och två i Asien som gör det möjligt för företag att presentera sina applikationer och arbetsmetoder för allmänheten. Följ Mesosphere på Twitter.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me