Gegenüber, ebenfalls am Ende einer gepflegten Parkanlage, befand sich die Kaserne der Wachmannschaften. Das Aufsichtspersonal wurde anfangs aus Gestapobeamten und Mitgliedern der Schupo (Schutzpolizei) gebildet. Später, im Frühjahr 1941, übernahmen Angehörige der SS diese Funktion. Zur Bewachung des Polizeigefängnisses Kleine Festung war die 1. Kompanie des SS-Wachbataillons „Böhmen und Mähren“ eingesetzt. Diese Kompanie trat am 1. November 1940 an. Im April 1942 wurde sie durch die 2. Kompanie des SS-Wachbataillons Prag ersetzt. Gegen Ende des Krieges wurden einige SS-Männer aus der Wachmannschaft durch volksdeutsche Feldgendarmen aus dem Banat ersetzt.

In der ehemaligen SS-Kaserne befindet sich heute das Museum der Kleinen Festung. In mehreren Räumen wird das Leben, Leiden und Sterben der Gefangenen dieser Haftanstalt auf eindrucksvolle Weise dargestellt. Im Obergeschoss befinden sich Magazine, in denen Originalmaterialien aus dem Gestapogefängnis gesammelt und bearbeitet werden.