Baszta Łabędź (Schwanturm) została wzniesiona w drugiej połowie XV w. na miejscu znajdującej się tu wcześniej Baszty Rybackiej, stanowiącej część umocnień zamku krzyżackiego. Mieszkańcy Gdańska rychło po wygnaniu Krzyżaków z miasta (1454 r.) zburzyli wszystkie ich budowle, zostawiając gdzieniegdzie tylko fundamenty. Basztę Łabędź posadowiono właśnie na fundamentach poprzedniej Baszty Rybackiej, nawiązując zresztą do jej formy. Podstawową różnicą było inne usytuowanie płaskiego ścięcia cylindra baszty – tym razem od strony miasta, a nie od strony zamku.

Powstał po 1342 r. , jako miejsce sprzedaży świeżych ryb mieszkańcom Głównego Miasta. Zwany był też Targiem Kartoflowym lub Kartoflano – Rybnym. Począwszy od 1360 r. był stopniowo zasiedlany. Zwany był wtedy „twergasse versus castrum” ; graniczył z pd. zachodnim narożnikiem obwarowań zamku krzyżackiego. W XIV w. był miejscem Jarmaków św. Dominika. Na początku wojny trzynastoletniej został zburzony zamek wraz z jego fortyfikacjami. Na fundamentach krzyżackiej Baszty Rybackiej gdańszczanie wznieśli Basztę Łabędź. W XVI w. zabudowano posesje nad Motławą – powstał wtedy Pomost Rybacki, zwany obecnie Rybackim Pobrzeżem. Po drugiej wojnie światowej nie odbudowano wspomnianych zabudowań. W ich miejscu w 1989 r. odsłonięto pomnik kmdr. Tadeusza Ziółkowskiego. Na pocztówce widoczna jest Baszta Łabędź; teren ujęty w dolnej części zdjęcia zwany jest Zamczyskiem. Tam znajdował się w XII – XIII w. gród książąt pomorskich, potem zamek krzyżacki.

Zabudowana kamienicami Baszta Łabędź. Zbudowana w drugiej połowie XIV w. na fundamentach Baszty Rybackiej. Obieg 1912 r.