Vorgängerbauten der alten Ratskapelle können bis in die Zeit um 1000 zurückreichen. Die heutige Kirche wurde als einschiffiger Saalbau mit Vierung, Vierungsarmen und rechteckigem Altarraum im 13. Jahrhundert errichtet. Wohl auch aus dieser Zeit stammt der gewaltige achteckige Vierungsturm, während die Kirche keinen Westturm erhielt.

Im 15. Jahrhundert wurde der Altarraum um Nebenräume erweitert, 1604 das Brauhaus angebaut. Im 17. Jahrhundert erhielt die Ostfassade eine neue dreigiebelige Front.

Auch St. Cosmae brannte 1659 aus und erhielt eine neue, in Hamburg angefertigte Ausstattung. Aus der Zeit davor stammen nur der St. Gertruden-Altar (um 1500), der aus der 1834 abgebrochenen Kirche St. Nicolai übernommen wurde, ein Kreuzigungsrelief (um 1580) und ein Kronleuchter. 1682-84 erhielt die Kirche ihren eindrucksvollen Turmhelm, der heute ein Wahrzeichen der Stadt ist.

Ebenfalls nach dem Stadtbrand wurde von dem Glückstädter Meister Berend Hueß und seinem Gesellen Arp Schnitger 1668-73 eine neue Orgel gebaut, an der seit 1674 der später in Hamburg wirkende Vincent Lübeck spielte. Die noch von Arp Schnitger, dem bedeutendsten norddeutschen Orgelbaumeister, umgebaute Orgel wurde umfassend saniert und wieder in den historischen Klangzustand gebracht.

Bemerkenswert von der Ausstattung des 17. Jahrhunderts sind der Hauptaltar von Christian Precht 1677, Kanzel, Taufe und insbesondere die schmiedeeisernen Gitter an der Taufkapelle. Die Kirche wurde 1963-66 und insbesondere 1985-91 umfassend saniert, wobei ein Großteil des Außenmauerwerks erneuert werden musste.