Gegenüber dem Tor mit der Aufschrift „Arbeit macht frei“ befanden sich nebeneinander die Zelle für sowjetische Kriegsgefangene (Zelle Nr. 1)
und die Zellen Nr. 2 und 3für die jüdischen Gefangenen. Bis zu 100 Häftlinge wurden in einer solchen Zelle gefangengehalten. Diese beiden Häftlingsgruppen unterlagen den schärfsten Haftbedingungen. Mehr als 1.500 jüdische Gefangene passierten das Gestapogefängnis; sie waren wegen ihrer politischen Tätigkeit, der Übertretung der Judengesetze verhaftet oder aus dem Ghetto in das Gefängnis überstellt worden. Die Überstellung eines Häftlings aus dem Ghetto in die Kleine Festung kam einem Todesurteil gleich, denn die Aufseher hatten es vor allem auf die jüdischen Häftlinge abgesehen. In der Kleinen Festung wurde Ende September 1944 der Vorsitzende des Ältestenrates Eppstein ermordet; die Theresienstädter Maler Leo Haas, Otto Ungar und Bedřich Fritta wurden hier gefangengehalten, bevor sie nach Auschwitz deportiert wurden; der Maler Ferdinand Bloch wurde hier brutal erschlagen.
Weitere Zellen waren auf dem I. Hof verteilt. Die Einrichtung der Zellen auf dem diesem Hof war überall gleich. Die Häftlinge drängten sich auf dreistöckigen Pritschen, die aus ungleichem Holz zusammengezimmert waren. Die Strohsäcke waren mit Hobelspänen oder Holzwolle gefüllt. Die feuchten Räume konnten nicht gelüftet werden, obwohl die Zellen mit bis zu 90 Personen belegt waren. Geheizt wurde fast nie, auch bei starkem Frost blieben die kleinen „Kanonenöfen“ kalt. Ein Klosett pro Zelle war bei weitem nicht ausreichend. Die Glühbirnen waren aus den an der Decke hängenden Lampen herausgeschraubt worden.
