Ihre Gründung verdankten die Ghetto-Swingers dem tschechischen Ingenieur und Amateurtrompeter Eric Vogel, der die Genehmigung für eine Lagercombo am 8. Januar 1943 bei der Abteilung „Freizeitgestaltung“ bei der Jüdischen Selbstverwaltung beantragt hatte, nachdem einige der besten Musiker in Theresienstadt eingetroffen waren - unter ihnen Mitglieder der Prager Jazzcombo Weiss. Der 25jährige Klarinettist „Fricek“ Weiss übernahm die Leitung des neuen Ensembles, in dem Otto Sattler und Kurt Maier, Vicky Werfel, J. Taussig und Franta Goldschmidt spielten. Coco Schumann trat in die Gruppe als Bubenik (als Schlagzeuger) ein, weil der bisherige Schlagzeuger mit einem Transport nach Auschwitz verschickt worden war. Die Mitgliedschaft in dieser Band bedeutet keinen Schutz vor dem Transport.
Wie andere Gruppen der „Freizeitgestaltung“ auch, dienten die Ghetto-Swingers auch den Propagandazwecken der SS und mussten in dem Film „Theresienstadt - ein Dokumentarfilm aus dem jüdischen Siedlungsgebiet“ mitwirken (Standfotos existieren noch) und durch ihr Auftreten an der großen Täuschungsaktion mitwirken. Coco Schumann schreibt in „Der Ghetto-Swinger“ (dtv): „Die Kunst, die Musik, das Spiel dienten als direkte, einfache und komfortable Flucht aus dem furchtbaren Lageralltag. Gebraucht wurde nur, was die Häftlinge sowieso mitbrachten: ihr Können und ihr Handwerkszeug. Ich war ein Paradebeispiel. Wenn ich spielte, vergaß ich, wo ich stand. Die Welt schien in Ordnung, das Leid der Menschen um mich herum verschwand – das Leben war schön. ...Wir waren eine „normale“ Band und spielten für ein „normales“ Publikum. Wir wußten alles und vergaßen alles im gleichen Moment - für ein paar Takte Musik. Wir spielten für uns und unser Leben – wie alle in dieser Stadt, diesem grausamen, verlogenen Bühnenbild für Theateraufführungen, Kinderoper, Kabaretts, wissenschaftlichen Vorträgen, Sportveranstaltungen, für ein absurdes soziales Leben und ein skurril selbstverwaltetes Überleben in der Warteschlange vor den Öfen des Dritten Reiches.“
Im Januar 1944 wurde der aus Westerbork nach Theresienstadt gekommene Pianist Martin Roman Leiter der Ghettoswingers. Er organisierte die Kapelle nach amerikanischen Muster (Big band) mit wechselnder Besetzung. Das bekannteste Arrangements war „avant de mourir " ("Vor dem Sterben"), ein Tango von Georges Boulanger.
Nahezu alle Mitglieder der Ghetto-Swingers (auch Coco Schumann) wurden nach Auschwitz deportiert.