Die Aussiger Kaserne (Block J IV - Nr. 17 auf dem Stadtplan) liegt im Nordwesten der Großen Festung. Sie ist wie die Kavalierkaserne in die Befestigungsanlagen (Kavalier 6) hineingebaut worden.
Zu Beginn der Ghettozeit diente die Aussiger Kaserne als Schleuse, dann als Zentrallager, das im Juni 1942 in die Bäckerei verlegt wurde. Später wurde hier die zentrale Kleiderkammer errichtet, in der das den Häftlingen geraubte Gut (Textilien usw.) aufbewahrt wurde. Nach dem Sortieren wurden die guten Sachen ins Reich geschickt, die minderwertigen nach einem bestimmten Bezugssystem an die Ghettobevölkerung verteilt, die übrigen wurden den Geschäften übergeben, in denen sich die Häftlinge die Sachen kaufen konnten.
Ab März 1943 lag die Kaserne jenseits der „Umgehungsstraße“, also außerhalb des Ghettos.
An den Schanzen dieser Kaserne wurden am 10. Januar und am 26. Februar 1942 zwei Massenhinrichtungen durch Erhängen durchgeführt und 9 bzw. 7 Häftlinge wegen „Vergehen“ gegen die Lagerordnung gehenkt.
Der Historiker H. G. Adler berichtet, daß am 28. Oktober 1944 (letzter Transport aus Theresienstadt) noch am Bahnhof in Bohušovice 20 junge Männer von der SS aus dem Zug geholt wurden. Sie wurden gezwungen, die Leichen der im Januar 1942 Hingerichteten auszugraben und auf Lastwagen zu verladen. Die Männer wurden dann in die Kleine Festung überstellt und dort erschossen.
Nach dem Krieg wurde die Aussiger Kaserne militärisch von der tschechoslowakischen Armee genutzt. Die großen in den Schanzen ausgebauten Räume wurden als „Garagen“ für Panzerspähwagen benötigt. Als die Armee Ende der neunziger Jahre abzog, übergab das Verteidigungsministerium diese Anlagen der Stadt. Die Stadt übergab das Objekt im Jahre 2000 vertraglich an eine Gruppe junger Künstler, die von dem Maler und Bildhauer Petr Larva geleitet wurden. Diese Künstler gründeten die Mitteleuropäische Kolonie für zeitgenössische Kunst in Terezín, auch M.E.C.C.A genannt.
