Hi Leute,
jetzt hatte ich eine ganze Weile lang Ruhe, aber in den letzten 2 Wochen bin ich jetzt 2x auf die Nase gefallen nach dem einspielen von Sicherheitsupdates. Ich habe hier einen Standalone Exchange Server 2016 / CU15 auf einem Server 2016 Datacener.
Zuletzt habe ich am Freitag den 13ten Abend gegen 22.00 Uhr das hier beschriebene KB4540123 ( https://www.frankysweb.de/neues-update-fuer-exchange-server-2016-und-2019-cve-2020-0903/#comments )eingespielt. Habe die .msp heruntergeladen und manuell ausgeführt. Brach mitten in der Installation ab, angeblich kein Zugriff auf bestimmte .dlls unter C:\program files\microsoft\exchange server\v15\bin. Hat dann ein Rollback gemacht, gemeldet dass er nicht installieren konnte und "erfolgreich" ein Rollback gemacht hat. Blöd wie ich bin hab ich dem vertraut und wollte mich der Sache an einem anderen Tag nochmal widmen, war schon spät und ich saumüde. Server neu gebootet, ging (augenscheinlich) alles, Snapshot im Vcenter gelöscht... Geht ja alles...
Sonntag Abend dann festgestellt, dass OWA nicht mehr geht, ECP ging allerdings noch. Gestern und heute dann vergeblich versucht OWA zum laufen zu bekommen. In den Kommentaren unter Frankys Newsbeitrag hat jemand das selbe Problem, konnte das Update aber wieder deinstallieren und danach ging wieder alles. Bei mir kann ich nichts deinstallieren. Seit heute lässt sich die ECP Site mit dem selben Fehler nicht mehr laden...
Ist vom Timing her natürlich der totale Kracher, dass OWA gerade jetzt nicht funktioniert wenn alle Leute von daheim drauf zugreifen sollen und ich habe einen leicht erhöhten Blutdruck mittlerweile....
Fehler stellt sich wie folgt dar: Aufruf der OWA Site ---> Formular erscheint, User meldet sich an, Fehlerseite schaut wie folgt unaussagekräftig aus:
Es wurde die UpdateCAS.ps1 laufen gelassen, Bindungen und Zertifikate überprüft, diverse Sicherheits- und Authentifizierungsberechtigungen im OWA gecheckt, Virtual Directorys neu erstellt usw.
Ich und meine Kollegen kommen nicht dahinter, hat jetzt 3 Mann einen Tag gekostet und sich nur dahingehend verschlechtert, dass die ECP Site nun auch nicht mehr geht.
Ich gerate jetzt hier zunehmend in Zugzwang und habe die Idee in den Raum geworfen, dass wir den Exchange Server aus der vor dem Update angefertigten Sicherung von Freitag Abend wiederherstellen und dann entweder die beiden Datenbanken mit den Mailboxen vom "alten" Server übernehmen.
Mein Vorgehen wäre folgendes gewesen:
1. Mit Veeam den Exchange Server Stand Freitag Abend vor Update als neue, ausgeschaltete VM wiederherstellen.
2. Aktuellen Exchange Server sichern und herunterfahren.
3. Wiederhergestellten Exchange hochfahren und testen ob alles funktioniert. (Eigentlich müssten die Outlooks welche alle im Cache Modus laufen Ihre Daten wieder in Richtung Exchange übertragen? --> Wenn nicht, Datenbanken wiederherstelen)
4. Glücklich sein und sich im Homeoffice anderen Problemen widmen..
Jetzt hat mein Kollege jedoch Bedenken angemeldet, eine Sicherung wiederherzustellen die "so lange" zurückliegt, da ja der Exchange diverse Timestamps im AD hat die dann nicht mehr passen würden... ich musss es jetzt abwägen ob wir das Risiko eingehen, damit evtl. noch irgendwelche Probleme im AD heraufbeschwören oder ob wir damit für unsere Leute im Homeoffice möglichst bald wieder einen Zugriff auf OWA haben...
Wie lauten denn eure Best Practices für sowas...Ich meine, dass wir schonmal einen Exchange Server wiederhergestellt haben wo die Sicherung noch länger zurück lag und das gab keine Probleme, des war aber ein 2010er oder 2013er und ist schon lange her.
Ich ziehe auf jeden Fall meine Lehren aus der Sache, mache es das nächste mal besser und mach 3 Kreuze wenn ich aus der Sache mit nem blauen Auge rauskomme bevor es mit der ganzen Corona Shice hier vollends drunter und drüber geht... :-(
Vielen Dank für euren Input!
A&O
-edit-
Der Kollege hier hatte auch (andere) Probleme nach dem einspielen des selben Updates und hat am Donnerstag seinen Server aus dem Backup vom Dienstag wiederhergestellt:
Falls es noch ein Thema ist:
Ursache für das Problem was du beschreibst ist, dass die .msp-Datei nicht als Admin ausgeführt wurde:
When you try to manually install this security update by double-clicking the update file (.msp) to run it in Normal mode (that is, not as an administrator), some files are not correctly updated.
(Quelle: https://support.microsoft.com/en-us/help/4540123/security-update-for-exchange-server-2019-and-2016)
Zum Thema Restore des Exchange per Veeam, ich hatte diese Frage gerade erst im Veeam Forum gestellt, Aussage des Produktberaters:
The key factor is that the backup must be taken with application aware image processing. Then it works.
Aber vielleicht nochmal vom Veeam Support absegnen lassen wegen des etwas älteren Sicherungsstandes.
(hier der Thread: https://forums.veeam.com/post360906.html#p360906)
Die Alternative zum Restore per Veeam wäre eine Restore-Installation:
https://docs.microsoft.com/en-us/exchange/high-availability/disaster-recovery/recover-exchange-servers?view=exchserver-2019
Zwei Tipps noch für die Zukunft:
- Exchange unterstützt keine Snapshots, mache besser vorher ein inkrementelles Backup in Veeam mit Application Awareness.
- Da du ja Veeam hast, würde ich empfehlen, Installation von Exchange Updates vorher immer per Surebackup Job zu testen.
In jedem Fall würde mich interessieren, wie es ausging.
Hallo,
sorry, leicht verspätete Auflösung...
Wir waren kurz davor den Server neu hochzuziehen, bis ein Kollege dann tatsächlich noch den Fehler gefunden hat... Durch das abgebrochene Update wurden wohl vereinzelte .dll Dateien im Folder C:\Program Files\Microsoft\Exchange Server\V15\ClientAccess\owa bzw \ecp beschädigt bzw. beim Rollback nicht wiederhergestellt. Genau diese beiden Verzeichnisse haben wir bei beendeten Diensten aus der letzten Sicherung vor dem Update wiederhergestellt, seitdem läuft unser Exchange wieder Fehlerfrei.
@JCM: Vielen Dank für deine hilfreichen Ausführungen! Ich würde fast beschwören, das ich die .msp File als Administrator ausgeführt habe... aber es klingt schon verdächtig danach, dass an dieser Stelle hier was schief gelaufen ist... Vielleicht zu Müde ums noch zu überreissen....
Tatsächlich sichern wir mit Veeam bereits Application Aware... ich wäre jetzt auch bei der Fraktion gewesen die den Server so wiederhergestellt hätten... Das mit dem Surebackup ist ebenfalls eine gute Idee, damit werde ich mich baldmöglichst einmal auseinandersetzen.
Vielen Dank und viele Grüße,
A&O
Ich hab die Installation auch mit dem .msp gemacht und bin damit auch auf die Nase gefallen. Habe dann das Veeam Backup vom Vortag eingespielt. Und am näcshten Tag das Security Update per Windows Update laufen lassen. Das ging dann ohne Probleme.
Ich habe übrigens auch schon ältere (2 Wochen alt) Veeam Backups eingespielt und keine Probleme gehabt. zu diesem Zeitpunkt lief das mit Veeam noch nicht so rund.
Vor solchen Sachen empfiehlt sich immer ein Checkpoint, um einfach alles retour schalten zu können. Da bei Exchange Updates auch Active Directory Infos verändert werden können, ist es ratsam, beides mittels Checkpoint zu versehen. So ist der Stand vorher noch möglich.
Servus Roman,
was genau verstehst du denn unter "Checkpoint"?
Viele Grüße,
A&O