Baszta Łabędź (Schwanturm) została wzniesiona w drugiej połowie XV w. na miejscu znajdującej się tu wcześniej Baszty Rybackiej, stanowiącej część umocnień zamku krzyżackiego. Mieszkańcy Gdańska rychło po wygnaniu Krzyżaków z miasta (1454 r.) zburzyli wszystkie ich budowle, zostawiając gdzieniegdzie tylko fundamenty. Basztę Łabędź posadowiono właśnie na fundamentach poprzedniej Baszty Rybackiej, nawiązując zresztą do jej formy. Podstawową różnicą było inne usytuowanie płaskiego ścięcia cylindra baszty – tym razem od strony miasta, a nie od strony zamku.

Targ na Rybackim Pobrzeżu, w głębi ulica Wartka. Obieg 1911 r.

Widok (prawdopodobnie) z Mostu Wapienniczego na Rybackie Pobrzeże i panoramę zrujnowanego miasta. Fotografia pochodzi z albumu pt.: "Gdańsk dawniej a dziś" ang.: "Former and today" autorstwa M. Dobrzykowskiego. W kartonowej kopercie w kolorze szałwiowej zieleni jest 14 zdjęć przedwojennego i powojennego, zrujnowanego Gdańska. Napisy na okładce albumu są wytłoczone i pozłocone.

Zimowe ujęcie Motławy od strony ulicy Wartkiej.

Widok na Basztę łabędź z Rybackiego Pobrzeża. Kartka zatytułowana "Am brausenden Wasser" w tłumaczeniu "Przy ryczącej (szumiącej?) wodzie".

Powstał po 1342 r. , jako miejsce sprzedaży świeżych ryb mieszkańcom Głównego Miasta. Zwany był też Targiem Kartoflowym lub Kartoflano – Rybnym. Począwszy od 1360 r. był stopniowo zasiedlany. Zwany był wtedy „twergasse versus castrum” ; graniczył z pd. zachodnim narożnikiem obwarowań zamku krzyżackiego. W XIV w. był miejscem Jarmaków św. Dominika. Na początku wojny trzynastoletniej został zburzony zamek wraz z jego fortyfikacjami. Na fundamentach krzyżackiej Baszty Rybackiej gdańszczanie wznieśli Basztę Łabędź. W XVI w. zabudowano posesje nad Motławą – powstał wtedy Pomost Rybacki, zwany obecnie Rybackim Pobrzeżem. Po drugiej wojnie światowej nie odbudowano wspomnianych zabudowań. W ich miejscu w 1989 r. odsłonięto pomnik kmdr. Tadeusza Ziółkowskiego. Na pocztówce widoczna jest Baszta Łabędź; teren ujęty w dolnej części zdjęcia zwany jest Zamczyskiem. Tam znajdował się w XII – XIII w. gród książąt pomorskich, potem zamek krzyżacki.