ACI: APIC cluster setup and best-practices

20.02 2024 | by massimiliano

Architettura di esempio ID Name POD Address OOB IPv4 CIMC OOG GW Flags Health 1* APIC-RM-04 1 17.0.64.1 10.16.93.229 10.16.92.1 […]

Architettura di esempio

ID	Name	POD	Address	OOB IPv4 CIMC	OOG GW	Flags	Health
1*	APIC-RM-04	1	17.0.64.1	10.16.93.229	10.16.92.1	crva	fully-fit
2	APIC-RM-05	1	17.0.64.2	10.16.93.227	10.16.92.1	crva	fully-fit
3	APIC-RM-06	1	17.0.64.3	10.16.93.225	10.16.92.1	crva	fully-fit
4	APIC-RM-01	2	dynamic	10.16.92.229	10.16.92.1	crva	fully-fit
5	APIC-RM-02	2	dynamic	10.16.92.227	10.16.92.1	crva	fully-fit
6	APIC-RM-03	2	dynamic	10.16.92.225	10.16.92.1	crva	fully-fit

indirizzi IP esclusivamente di esempio (non reali)

Flags – c:Commissioned | r:Registered | v:Valid Certificate | a:Approved | f/s:Failover fail/success

(*)Current (~)Standby (+)AS

APIC-RM-04# show controller

Fabric Name : ACI-RM

Operational Size : 3

Cluster Size : 5

Time Difference : -7537

Fabric Security Mode : PERMISSIVE

Third Generation APIC server

Un server APIC di terza-generazione è un appliance da integrare all’interno di un cluster di APIC M3/L3 con una image secured TPM (Trusted Platform Module), certificates ed un product-ID.

Per il collegamento di riporta il design di un APIC di terza-generazione:

INDICE	DESCRIPTION
1	USB 3.0 (two port)
2	Dual 1GB or 10GB Ethernet ports (LAN 1 – LAN 2)
3	VGA video port (DB-15 connector)
4	1GB Ethernet to Management port
5	Serial port (RJ45 connector)
6	Rear unit identification button/led
7	Power supplies (two, redundand as 1+1)
8	PCle riser 1/slot 1 (x16 lane)
9	VIC 1455 (Virtual Interface Card) with external 10/25 GBE 4xports
10	Threaded holes for dual-hole grounding lug
11	Drive bays 1-10 support SAS/SATA hard disk drivers HDDs and solid SSDs
12	APIC Server M3/L3: drive bays 1 and 2 support NVMe LCle SSDs
13	KVM connector (used with KVM cable 1xDB-15 VGA, 1xDB-9 Serial, 2xUSB connector)

NOTE:

VIC1455 supporta 10/25 Gigabit con le seguenti restrizioni:

Le porte debbono avere tutte la stessa velocità
port-1 e port-2 corrispondono alla eth2/1, mentre port-3 e port-4 corrispondono alle eth2/2; solo una connessione è permessa per ogni coppia di porte.

APIC SETTING-UP

APIC server M3/L3 opera via CIMC (Cisco Integrated Management Controller) per il setting-up iniziale attraverso tre metodi:

KVM cable (Cisco PID N20-BKVM) per la connessione con tastiera e monitor al connettore front panel (local setup)
USB tastiera e VGA monitor da collegare al corrispondente connettore rear panel (local setup)
Serial connection mediante:

DB9 connector del KVM cable
RJ45 console port (dopo averla abilitata in CIMC)
Serial-over-Lan (dopo averla abilitata in CIMC) con baud rate 115200

Connecting to Server locally

Questa procedura è prevista con VGA monitor, USB tastiera ed infine il cavo Cisco KVM (Cisco PID N20-BKVM) oppure un cavo USB e VGA DB-15.

STEP-1: Accendere l’alimentazione elettrica mediante power supply

STEP-2: Collegare il cavo USB keyboard e VGA monitor utilizzando:

KVM Cisco cable to KVM connector on front-panel;
- USB keyboard and VGA monitor to KVM cable

STEP-3: Aprire Cisco CIMC Configuration:

Premere per circa 4 secondi il bottone di boot server
Durante il boot premere F8 to enter in CIMC config

APIC Username default = admin
APIC controller utilizza una password di bios; la password di default = password.

Cisco Best-Practices raccomanda di cambiare la password di default la prima volta che si entra nella CIMC Configuration Utility.

La procedura di cambio password prevede:

Step-4: durante il bios boot process, press F2

Step-5: Enter Password: password (quella di default)

Step-6: Setup Utility -> Security -> Set Administrator Password

Step-7: Enter Current Password: password (quella di default)

Step-8: Create New Password: <password>

Step-9: Confirm New Password: <password>

Step-10: Save & Exit

Step-11: Save & Exit: YES

Step-12: attendere la fine del processo di reboot per la conferma di cambio password

STEP-13: Settare i corretti valori di CIMC IP, Subnet/Mask e Gateway

Press F10 per salvare la configurazione eppoi ESC

A questo punto UCS reboot e CIMC è disponibile per una remota connessione via OOB management

NOTA:

In caso di collegamento via RJ45 console port collegata to CIMC via SSH, utilizzare i seguenti comandi per abilitare SoL (Serial-over-Lan):

scope sol

set enable yes

set baud-rate 115200

commit

exit

Dopo aver abilitato SoL, set il comando connect hosts per avere accesso alla APIC console.

Versione software APIC CIMC

La versione richiesta per i server APIC CIMC è la 4.1(3f)

Considerare la seguente Release Notes Cisco per verifica compatibilità matrix e caveats:

Release Notes for Cisco UCS Rack Server Software, Release 4.1(3) – Cisco

Connecting to Server remotely

Questa procedura è prevista con RJ45 ethernet cable collegato alla rete di management.

NOTA:

Per la configurazione remota è richiesto un DHCP server nella stessa rete del sistema; il server DHCP deve essere pre-configurato con un range di MAC addresses per questo nodo APIC.

I MAC address sono stampati attraverso una label che è prevista on pull-out asset tag front panel; il nodo ha un range di sei MAC address assegnati al Cisco IMC.

STEP-1: Accendere l’alimentazione elettrica mediante power supply;

STEP-2: Collegare il cavo RJ45 ethernet nella porta di management OOB (rear panel)

STEP-3: permettere al server DHCP di assegnare un indirizzo IP al nodo APIC

STEP-4: utilizzare questo IP address per accedere all’interno CIMC node APIC

APIC Username default = admin
APIC controller utilizza una password di bios; la password di default = password.

STEP-5: Da CIMC summary page, click Launch KVM Console; una finestra di console separata si apre;

STEP-6: Da CIMC summary page, click Power Cycle Server; il sistema reboot

STEP-7: Seleziona KVM console window

STEP-8: Premere F8 per entrare nella CIMC Configuration Utility; questa azione permette di aprire la KVM console window

NOTA: per eseguire la console KVM occorre la versione 1.6 di Java o superiore (altrimenti utilizzare HTML).

Configuration Utility via CIMC parameters

Confermare o settare i seguenti parametri:

STEP-1: Set NIC mode = Dedicated

STEP-2: Set NIC redundancy = None

È importante verificare (via CIMC GUI) che i seguenti parametri siano corrispondenti come in tabella

PARAMETERS	SETTINGS
LLDP	Disabled on the VIC
TPM SUPPORT	Enabled on the BIOS
tPM ENABLED STATUS	Enabled
TPM OWNERSHIP	Owned

STEP-3: Scegliere queste due seguenti possibilità

Enable DHCP per dynamic network settings
Static Network settings

STEP-4: in caso di static network setting, proseguire nel seguente modo:

NOTA:

premere F1 per andare dalla prima alla seconda settings window

premere F2 per tornare indietro dalla seconda alla prima settings window

premere F5 per il refresh della configurazione

premere F10 per salvare e reboot node

Tabelle di Initial Setup Dialog visto da console:

# <hostname_apic>

Cluster configuration

Enter the fabric name [ACI Fabric1 #1]: ACI-LAB

Enter the fabric ID (1-128) [1]: 3

Enter the number of active controllers in the fabric (1-9) [1]: 5

Enter the POD ID (1-9) []: 2

Is this a standby controller? [NO]:

Enter the controller ID (1-5) [1]: 4

Enter the controller name [apic1]: APIC-RM-01

Enter address pool for TEP address [10.0.0.0/16]: <IP_TEP_POOL/19>

Enter the VLAN ID for infra network (1-4094)[]: <vlan_id_infra>

Enter address pool for BD multicast addresses (GIPO)[255.0.0.0/15]:225.5.0.0/15

Out-of-Band management configuration

Enable IPv6 for Out of Band Mgmt Interfaces? [N]:

Enter the IP address for out-of-band management: 10.16.92.229

Enter the IP address of the default gateway [none]: 10.16.92.1

Enter the interface speed/duplex mode [auto]:

Administrator user configuration

Enter strong passwords? [NO]

Enter the password for admin: <password>

Reenter the password for admin: <password>

Would you like to edit the configuration? (y/n) [n]:

Per la connettività di infrastruttura ACI Fabric APIC, è sempre utilizzata la interface bond0 alla quale appartengono le interface fisiche eth2/1 e eth2/2.

Per verifica seguire il Menu: System –> Controller–> <name_APIC> — > Interfaces

Per completezza si riporta una tabella che evidenzia i valori di default setup APIC:

Name	Description	Default Value	Note
Fabric Name	Fabric domain name	ACI Fabric 1
Fabric ID	Fabric ID	1
Number of active controllers	Cluster Size	3	In modalità active standby il cluster deve essere di n° 3 elementi minimo
POD ID	Pod ID	1
Standby Controller	Unico ID number for APIC active instance	Range: 1-19
Controller name	Active controller name	apic1
IP address pool TEP	Tunnel Endpoint Address	10.0.0.0/16	Valido solo per infrastruttura virtual routing e forwarding (VRF). Questo valore non deve essere in overlapping con altre subnet di rete; in caso di overlapping cambiare il valore di default
VLAN-ID for infra network	Vl per la comunicazione APIC to swith e virtual switch di infrastruttura	3967	Cisco Best Practices consiglia questo valore. Riservare questo valore solo per la comunicazione APIC e non deve mai essere in overlap con altri valori di range VL riservati ad altri scopi.
IP address pool GIPO	IP address utilizzato per fabric bridge domain multicast	225.0.0.0/15	Valid range = 225.0.0.0/15 – 231.254.0.0/15
IPv4/IPv6 address MGMT	IP address di management scope		Dependent from oob client
IPv4/IPv6 address Gateway	IP address gateway per la comunicazione to external network via oob management		Dependent from oob client
Management interface speed/duplex mode	Interface speed and duplex mode per la management interface	auto
Strong password check	Password per l’amministratore di rete		Password composta da almeno 8 caratteri con almeno un carattere speciale

Collegamento APIC Server to Switch Leaf

NOTA:

Poiché i modelli delle Leaf visti sopra sono di due tipi è bene precisare che:

N9K-C9348GC-FXP la VIC di riferimento è la 1225 optical module
N9K-C93180YC-FX la VIC di riferimento è la 1455 optical module

Entrambe le VIC utilizzano i seguenti transceiver e cavi:

Cisco 10Base-LR SFP-10G per lunghe distanze (10Km);

Cisco 10Base-SR SFP-10G per brevi distanze:
2000 MHz MMF (OM3) per circa 300 mt
4700 MHz MMF (OM4) per circa 400 mt

Cisco SFP + Active Optical Cables SFP-10G AOCxM (dove x = 1.2.3.5.7,10 metri)
Cisco SFP + Twinax Cables SFP-H10GB CUxM (dove x = 1,2,3,5,7,10 metri)

STEP-1:

Collegare i link tra APIC e switch Leaf come in figura:

STEP-2

Una volta eseguito il setup APIC CIMC Configuration Utility (bootstrap config), la fabric ACI inizializza un processo di discovery attraverso LLDP e CDP Protocols evidenziato dalla figura seguente:

APIC Cluster Troubleshooting

Verifica APIC bond interface via GUI

Menu: Menu: System –> Controller–> <name_APIC> — > Interfaces

Verifica APIC bond interface via CLI

APIC# cat /proc/net/bonding/bond0

Verifica LLDP frames sent from APIC

APIC# acidiag run lldptool out eth2-1

Verifica LLDP Objects on Leaf for all interfaces with wiring issue

Leaf# moquery – c lldpIf –f ‘lldp.If.wiringIssues!=”0”’

NOTA: le ragioni per le quali possono verificarsi problemi sono diversi e generalmente sono indicati nella seguente tabella:

Wiring Issue Error Message	Cause	Remediation
pod-id-mismatch	POD-ID configurato su APIC non incontra (mismatch) il corretto POD ID configurato su corrispondete switch Leaf dove esso è collegato	Ritornare alla parte di APIC setup iniziale per correggere il POD ID value
Fabric-domain-mismatch	Il nome della Fabric su APIC non incontra (mismatch) il nome assegnato sul corrispondente switch Leaf come pure sugli altri APIC node del cluster	Ritornare alla parte di APIC setup iniziale per correggere il Fabric Name
ctrl-uuid-mismatch	UUID ricevuto via LLDP protocol da APIC non incontra (mismatch) l’attuale database	Questa situazione accade in caso di sostituzione o re-installazione di un APIC ma non de-commissionato dal cluster prima di questa azione (in caso de-commissiona l’APIC, attendere cinque minuti eppoi re-commissionare APIC)
wiring-mismatch	Connessione Leaf-to-Leaf oppure Spine-to-Spine	LLDP disabled
infra-vlan-mismatch	La Vlan di infrastruttura configurata su APIC non incontra (mismatch) il valore di Vlan configurata a livello di Leaf switches e/o gli altri nodi APIC del cluster	Ritornare alla parte di APIC setup iniziale per correggere la Vlan di Infrastruttura configuration
Infra-ip-mismatch	Il valore di address TEP pool configurato su APIC non incontra mis(match) lo stesso valore di address TEP pool configurati a livello di Leaf switches e/o gli altri nodi APIC del cluster	Ritornare alla parte di APIC setup iniziale per correggere il TEP pool address
unapproved-ctrlr	ACI fabric internode secure authentication mode è settato su Strict, ed il controller APIC non è permesso all’interno della fabric	È possibile permettere il nodo APIC all’interno della fabric cambiando il mode in Permissive opure attraverso l’operazione di commissioning via Unauthorized Controllers
unapproved-serial-number	Il serial number utilizzato da APIC non è un trusted serial number	È ovviamente sconsigliato utilizzare un APIC con un serial number non sicuro o incorretto
adjacency-not-detected	Uplink interface Leaf or Spine non vedono più adiacenze	Questo può accadere perche la interfaccia è down oppure LLDP packets non sono ricevuti dal peer.

Upgrade Software APIC CIMC

Spazio libero filesystem utilizzato meno del 50% consigliato da Cisco; per verifica:

apic1# df -h

Filesystem Size Used Avail Use% Mounted on

/dev/dm-8 40G 14G 24G 37% /bin

/dev/mapper/vg_ifc0_ssd-data 175G 2.8G 163G 2% /var/log/dme

devtmpfs 126G 0 126G 0% /dev

tmpfs 4.0G 109M 3.9G 3% /dev/shm

/dev/mapper/vg_ifc0-firmware 40G 12G 26G 32% /firmware

Considerare la seguente Release Notes Cisco per verifica compatibilità matrix e caveats:

Release Notes for Cisco UCS Rack Server Software, Release 4.1(3) – Cisco

Check TPM status

TPM (Trusted Platform Module) è un chip di sistema che registra RSA encryption key specifici per hardware authentication server e integrity platform.

Il chip richiede BIOS level configuration per azioni di enable, disable, clear, ownership TPM

APIC richiede TPM enable ed attivo, viceversa APIC fallisce la decriptazione root filesystem.

Per abilitare TPM:

Da CIMC GUI, Compute > BIOS > Configure BIOS > tab security

In tab security, settare TPM Enable

Il sistema deve essere riavviato (rebooted) per la procedura di abilitazione.

Download CIMC image and steps upgrade software configuration

APIC-L3 server lavorano attraverso UCS-C series 220 M5 (terza generazione)

STEP-1:

scaricare la image 4.1(3f) da Software Download – Cisco Systems

STEP-2:

lanciare la KVM console da CIMC GUI

NOTA:

assicurarsi di avere l’ultima versione Java installata prima di procedere all’upgrade.

STEP-3:

attivare la Virtuale Console

Aprire la KVM console, seleziona Virtual Media e cliccare su Activate Virtual Devices

STEP-4:

map la versione ISO images scaricata via Virtual Media > Map CD/DVD

STEP-5:

scegliere la ISO image ucs-c220m5-huu-4.1.3f.iso

STEP-6:

reboot system da Power > Reset System (warm boot)

STEP-7:

accedere nel boot menu attraverso il tasto F6

STEP-8:

inserire credenziali password (default password = password)

STEP-9:

scegliere vKVM mapped vDVD

STEP-10:

Cisco UCS host upgrade utility starts

STEP-11:

agree License Agreement

STEP-12:

scegliere l’aggiornamento di tutti i componenti attraverso il bottone “Update All” in modo da aggiornate alla versione target.

NOTA

Durante l’upgrade APIC evidenzia logs di disconnessioni

STEP-13:

non abilitare Cisco IMC secure boot option

Host Upgrade Utility (HUU) inizia ad aggiornare ogni singolo componente ed una volta fatto provvede al reboot del sistema; una volta terminato si può accedere allo chassis cua GUI oppure CLI

STEP-14:

verifica CIMC upgrade

Appena il server esegue il reboot si viene espulsi dalla CIMC GUI; per poter re-accedere e verificare lo stato dell’aggiornamento è possibile attraverso GUI:

Menu: Admin > Firmware Management

Oppure verificare via “Last Update Verify” via CIMC host upgrade utility