Hello again and welcome back to my blog!

av | okt 16, 2019 | Blogg, Data center

Fredrik Ranelöv

16 OKTOBER 2019

Hello again and welcome back to my blog!

As some of my sharper readers might have discovered already, I’m writing in English this time. 
Be warned though, this is getting technical.

The only reason for that is to reach more people, especially the people who Google for solutions when in trouble. Because this time I’m writing about a few rather frustrating issues that took me some time and energy to solve, so I’d like to share it with as many as possible!

The background is a very common setup where we have HPE Proliant G9 or G10 servers and use the VMware ESXi HPE-customized image, namely the “HPE Gen9 Plus Custom Image for ESXi 6.7 U2 Install CD”. It’s been around since April, and probably quite well used by now.

What doesn’t seem to be as well-known is a couple of problems with this version!

The first issue

This I ran into when a host refused to accept patches through VUM, referring to “unable to write to disk” and “full /tmp”. 

vdf -h shows the /tmp IS full:

Going to /tmp and doing ls -l shows the culprit

AMS is HPEs “Agentless Management Service”, used to channel info from iLO through the OS to applications showing hardware status.

Unfortunately, this is not the first time HPE have had problems with AMS in the OEM-bundle, and if we do a quick search there’s an advisory about this issue:

https://support.hpe.com/hpsc/doc/public/display?docId=emr_na-a00073323en_us&docLocale=en_US

The fix is to upgrade AMS to 3.4.5 through the offline bundle, or the fantastic duct-tape solution of (frequently) deleting the file! A simple rm ams-bbUsg.txt will fix it temporarily.

The second issue

A few weeks later I ran in to a similar problem when Veeam just stopped backing up about half of the VMs. The error in Veeam wasn’t very clear but at least put us in the right direction:

Error: DiskLib error: [13].The file is locked or in use — File open failed: File not open

Failed to create NFC download stream. NFC path: [nfc://conn:<fqdn of vCenter>,nfchost:host-9095,stg:datastore-33@rfc4122.7483a3d3-4ee3-414a-89e1-f319c558fd0c/<name of VM-file>.vmx

Apparently only VMs residing on one specific host were failing, and it points to vCenter not being able to read the vmx-files of the VM being backed up.

Looking at the host in vCenter I see the following event:

The ramdisk ’var’ is full. As a result, the file /var/run/vmware/.vvold-conflict-resolution-file.LOCK.531962696 could not be written

So, another RAM-disk getting filled by something! This time it’s the /var-disk:

That disk contains a lot of folders, files and links. There are several ways to find a big file or folder, I use du -h and du -h -d 1 depending on the depth you want to show.

Here you see that /log/EMU/mili is rather big:

The /EMU/mili-folder is for Emulex hardware (not militant, wingless birds) and used by that daemon.

This is a known bug with Emulex drivers, even if(because?) you don’t have any Emulex hardware installed it fills up a log with errors as seen here after a cat mili2d.log

Tue Oct 15 07:50:03 2019,532350375,   ERROR:MILI_enumerate_elxiscsi:Failed to initialize User Init with status = 19

Tue Oct 15 07:50:03 2019,532350375,   ERROR:MILI_enumerate_elx_nics:Failed to initialize USer Init with status = 19

Tue Oct 15 07:50:03 2019,532350375,   ERROR:could not open device node /vmfs/devices/char/vmkdriver/be_esx_nic

Tue Oct 15 07:50:03 2019,532350375,   CRITICAL:backend_init:OneConnect Adapter Not Found.

 The quick fix is to delete the mili2d.log repeatedly, the workaround is to remove the corresponding VIB:

esxcli software vib remove –vibname elx-esx-libelxima.so

Another fix is to install the patch containing the ESXi670-201904211-UG which moves the log(!), not fixing the original problem: 

“PR 2226688: Emulex drivers logs might fill up the /var file system logs

Emulex drivers might write logs at /var/log/EMU/mili/mili2d.log and fill up the 40 MB /var file system logs of RAM drives.

This issue is resolved in this release. The fix changes writes of Emulex drivers to the /scratch/log/ instead of the /var/log/.”

From https://docs.vmware.com/en/VMware-vSphere/6.7/rn/vsphere-esxi-67u2-release-notes.html 

That’s all for now, but I’ll be back soon (after VMworld) with a few more “surprises” from the OEM-version of ESXi.

Until then, keep it virtual

/Fredrik

Senaste artiklarna
Kategorier

DIGITAL EXPERTHJÄLP

På vår bokningssida kan du själv se när en konsult finns tillgänglig, och direkt lägga in din bokning. Enklare kan det inte bli!

Next Gen Account Manager

Next Gen Account Manager

Om Cuebid Cuebid är ett tillväxtföretag och har sedan starten 2009 växt till en väletablerad och nationell aktör inom nätverk-och säkerhetstjänster som kompletteras med 24/7 helpdesk-och supporttjänster, kompetensledande konsulter, IT utbildningar och ett starkt sälj-...

Applikationssäkerhet – vems ansvar är det?

Applikationssäkerhet – vems ansvar är det?

En gång i en grå forntid så hade man en ganska naiv syn på IT-säkerhet, men man insåg med tiden att man var tvungen att revidera den synen. Saker som brandväggar och antivirusskydd på klienter blev en normal del av IT-miljön men allteftersom de metoder som används av...

Låt den rätte komma in (eller ut)

Låt den rätte komma in (eller ut)

Min kollega och vän skrev för ett par veckor sedan om vikten att kunna återställa förlorat data och vikten av att ha planerat för återställning, design och automatisering för att kunna återställa data. Och som Fredrik nämner så är det bara en pusselbit i kampen mot...

VMworld 2021: ”We’re proud to announce…”

VMworld 2021: ”We’re proud to announce…”

Aldrig tidigare har jag vart med om så mycket nyheter under VMworld! Ett tag blev det nästan komiskt att varje talare på den inledande ”General Session” och respektive keynote sa just frasen ”We’re proud to announce…”. General Session var för övrigt var en av de bästa...

Kaseyaattacken i retrospekt

Kaseyaattacken i retrospekt

När jag gjorde värnplikten, känns som hundra år sedan nu, så fanns det en allmänt vedertagen ”sanning”. Fienden skulle landsätta sina trupper i Sverige på midsommarafton, när minst halva befolkningen var satt ”ur stridbart skick”.  Det här var bland det första...

Har du koll på ditt nät?

Har du koll på ditt nät?

Hur många switchar har jag? Hur belastad är min Internetförbindelse? Vilka av mina enheter kör en viss release av programvara? Listan kan nästan göras oändlig… Att ha ett bra övervakningsverktyg är inget man skall underskatta, det kan underlätta och stötta din...