Powstał po 1342 r. , jako miejsce sprzedaży świeżych ryb mieszkańcom Głównego Miasta. Zwany był też Targiem Kartoflowym lub Kartoflano – Rybnym. Począwszy od 1360 r. był stopniowo zasiedlany. Zwany był wtedy „twergasse versus castrum” ; graniczył z pd. zachodnim narożnikiem obwarowań zamku krzyżackiego. W XIV w. był miejscem Jarmaków św. Dominika. Na początku wojny trzynastoletniej został zburzony zamek wraz z jego fortyfikacjami. Na fundamentach krzyżackiej Baszty Rybackiej gdańszczanie wznieśli Basztę Łabędź. W XVI w. zabudowano posesje nad Motławą – powstał wtedy Pomost Rybacki, zwany obecnie Rybackim Pobrzeżem. Po drugiej wojnie światowej nie odbudowano wspomnianych zabudowań. W ich miejscu w 1989 r. odsłonięto pomnik kmdr. Tadeusza Ziółkowskiego. Na pocztówce widoczna jest Baszta Łabędź; teren ujęty w dolnej części zdjęcia zwany jest Zamczyskiem. Tam znajdował się w XII – XIII w. gród książąt pomorskich, potem zamek krzyżacki.

Pocztówka z widokiem na skutą lodem Motławę. Ujęcie z Wyspy Ołowianka, z widokiem na Żuraw.

Napis "północna Wenecja" na pocztówce z widokiem na Rybackie Pobrzeże. W głębi Baszta Łabędź.

Widok na Rybackie Pobrzeże z Ołowianki. Pośrodku obrazu Baszta Łabędź. Na fotografii rzucające się w oczy hitlerowskie flagi.

Karta pocztowa przedstawia rycinę W. Ratha z 1918 roku z widokiem na Basztę Łabędź i Rybackie Pobrzeże.

Baszta Łabędź (Schwanturm) została wzniesiona w drugiej połowie XV w. na miejscu znajdującej się tu wcześniej Baszty Rybackiej, stanowiącej część umocnień zamku krzyżackiego. Mieszkańcy Gdańska rychło po wygnaniu Krzyżaków z miasta (1454 r.) zburzyli wszystkie ich budowle, zostawiając gdzieniegdzie tylko fundamenty. Basztę Łabędź posadowiono właśnie na fundamentach poprzedniej Baszty Rybackiej, nawiązując zresztą do jej formy. Podstawową różnicą było inne usytuowanie płaskiego ścięcia cylindra baszty – tym razem od strony miasta, a nie od strony zamku.