Ostrukturerad fildata är den som växer mest.

av | aug 31, 2020 | Blogg, Data center, Nyheter

Fredrik Ranelöv

Kundcase från Cuebid, med Qumulo och HPE.

Runt 80% av företagens data är ostrukturerad fildata, och det är den som växer mest. Idag är det mesta outnyttjat men i den datadrivna utvecklingen av verksamheten i digitaliseringens tidsålder är ostrukturerad data otroligt viktigt att göra användbar, åtkomlig, förståelig och säkert lagrad. För det är ju inte data OM er affärsverksamhet, det ÄR er affärsverksamhet!

Så hur tänker er verksamhet skapa sig ett försprång mot era konkurrenter genom att realisera nyttan av fildatat och driva på er innovationskraft?

Låt mig ge er ett förslag från vår partner Qumulo och ett verkligt kundcase från Cuebid som exempel.

Qumulo startades 2012 av tre veteraner från Isilon. De såg en framtid där en massiv ökning av ostrukturerad data inte skulle gå att hantera med dagens verktyg. Inte ens med Isilon, som var byggt på en gammal grund och därför inte går att göra tillräckligt skalbart för att klara framtidens datamängder. De skapade ett nytt filsystem från grunden, anpassat för ”oändlig” skalbarhet och snabb access av fildatat för t.ex. Machine Learning eller dataanalys i realtid– Qumulo Hybrid File System(QHFS).

De förutsåg ett antal utmaningar med traditionell NAS och filserverlagring, utmaningar som kunde hindra affärsutvecklingen och digitaliseringen, men som adresseras av QHFS:

Managering och automatisering

Det måste gå att visuellt enkelt och snabbt identifiera flaskhalsar och problem, med applikationer eller klienter som drar mycket bandbredd eller låser filer. Alla åtgärder skall gå att automatisera, och det skall inte krävas en specialist för att göra det. IT-avdelningen skall kunna arbeta med utveckling, inte brandsläckning.

Förutsägbar hög prestanda

Oavsett last, trasiga diskar eller underhåll, som att ändra ACL på en miljard filer, så måste vi veta att vi får den prestanda vi förväntar oss. Och det måste analyseras och visualiseras i realtid.

Skalbarhet

Systemet måste klara att miljarder filer delar filsystem, det tas tusentals snapshots och extrema filstorlekar på 16TB+. Det måste finnas en tillit till lagringssystemet och det måste gå att flytta data mellan olika on-prem och publika moln beroende på var data behöver vara tillgängligt.

I Qumulos arkitektur separeras metadata från fildata och lagras i en distribuerad realtidsdatabas. Detta ligger till grunden för hur de löser ovanstående utmaningar, men även till de låga svarstiderna och höga throughput. Det ger också en ”mean-time-to-data-loss(MTTDL) på över 10 000 år! Traditionell RAID har max 18år.

Vill ni veta mer så besök gärna https://www.youtube.com/qumulo/ eller https://qumulo.com/

Kundcase

Under våren har vi diskuterat med den här kunden som arbetar med avancerad kartläggning av havsbotten och genererar många olika typer av data, och väldigt stora datamängder. De växer snabbt och samtidigt utvecklas teknik och därmed upplösning på film och bild samt mängden mätpunkter. Det vill säga en enorm tillväxt av datamängd som ökar exponentiellt.

Deras befintliga lösning baserad på HDS HCP blir för dyr när datamängderna börjar närma sig 500TB och de har ett antal krav på en ny lösning:

·      Två siter med 1PB användbar lagring i varje kluster

·      Single Stream Read-prestanda minst 13Gb/s

·      Klara filstorlekar på över 4TB

·      Mer än 100 miljoner filer i samma namespace utan prestandaförlust

·      Asynkron replikering till en eller flera targets, on-prem eller cloud, av sub-set av data och globalt

·      Instant snapshots och klara över 1000 snapshots

·      “No single point of failure” i hela lösningen

·      Realtidsvisibilitet av nyttjandegrad och prestanda, per projekt och arbetsstation

·      Ingen prestandaförlust vid upp till 100% nyttjande av filsystemet

Vi föreslog en lösning med två Qumulo Hybrid Cluster.

De är baserade på 8st noder HPE Apollo 4200 Gen10 192TB per kluster och redundant 100Gbit/s nät mellan noderna. Det ger 1.1PB Usable, en Single Stream Read på 23.6Gb/s och Multi Stream Read på max 182Gb/s!

Totalt landar vi på under 15 öre per GB och månad över fem år för den monterade och produktionsfärdiga lösningen, inklusive utbildning! Men det var inte bara priset som gjorde att de lockades av Qumulo, utan även den extremt djupgående, lättarbetade och tydliga realtidsanalysen av otroligt många mätpunkter!

Oslagbart pris och teknisk lösning tyckte vi, och tydligen även kunden som i dagarna beställde och får leverans under hösten.

Vill ni veta mer om lösningen och om ni är mogna för nästa steg, hör av er till undertecknad eller någon av mina kollegor!

Fredrik Ranelöv
Chief Datacenter Architect
Cuebid Väst AB

Senaste artiklarna
Kategorier

DIGITAL EXPERTHJÄLP

På vår bokningssida kan du själv se när en konsult finns tillgänglig, och direkt lägga in din bokning. Enklare kan det inte bli!

Log4Shell – så skyddar du dig

Log4Shell – så skyddar du dig

Nu är det dags för ett blogg-inlägg igen. Denna gång vill jag skriva några rader om förra veckans händelser kring log4shell. Vad är då log4shell och varför är det en så allvarlig sårbarhet? Log4shell är namnet på själva attacken, sårbarheten ligger i ett...

Next Gen Account Manager

Next Gen Account Manager

Om Cuebid Cuebid är ett tillväxtföretag och har sedan starten 2009 växt till en väletablerad och nationell aktör inom nätverk-och säkerhetstjänster som kompletteras med 24/7 helpdesk-och supporttjänster, kompetensledande konsulter, IT utbildningar och ett starkt sälj-...

region stockholm säkrar sina tjänster

region stockholm säkrar sina tjänster

Sveriges största regionala vårdgivare säkrar sina tjänster med ökad prestanda och tillförlitlighet till lägre kostnad. Cuebid har bidragit med design och arkitektur, konsult- och specialistkompetens vid installation, konfiguration, uppgraderingar och incidenter,...

Applikationssäkerhet – vems ansvar är det?

Applikationssäkerhet – vems ansvar är det?

En gång i en grå forntid så hade man en ganska naiv syn på IT-säkerhet, men man insåg med tiden att man var tvungen att revidera den synen. Saker som brandväggar och antivirusskydd på klienter blev en normal del av IT-miljön men allteftersom de metoder som används av...

Låt den rätte komma in (eller ut)

Låt den rätte komma in (eller ut)

Min kollega och vän skrev för ett par veckor sedan om vikten att kunna återställa förlorat data och vikten av att ha planerat för återställning, design och automatisering för att kunna återställa data. Och som Fredrik nämner så är det bara en pusselbit i kampen mot...

VMworld 2021: ”We’re proud to announce…”

VMworld 2021: ”We’re proud to announce…”

Aldrig tidigare har jag vart med om så mycket nyheter under VMworld! Ett tag blev det nästan komiskt att varje talare på den inledande ”General Session” och respektive keynote sa just frasen ”We’re proud to announce…”. General Session var för övrigt var en av de bästa...