Schnell und einfach geht dies so:
TaskManager starten (STRG + ALT + ENTF)

Dort muss man zuerst den störrischen Prozess "explorer.exe" beenden. Aber bedenke, dass dies sämtliche Ordnerfenster samt Taskleiste einschließt! Der Prozess kann mehrfach vorkommen. Es sollten alle geschlossen werden (am besten nach Name sortieren, dann geht es schneller)
Danach klickt man auf "Datei" und "Neuer Task" und gibt in dem Folgefenster "explorer.exe" ein.

Der Dialog wird bestätigt und schon baut sich die Taskleiste neu vor einem auf. Vorherig offene Fenster werden aber nicht mehr geöffnet.