Köln ist seit seiner Gründung in der Römerzeit immer eine Hafenstadt gewesen. In dieser frühen Zeit der römischen Kolonie lag der Hafen im Bereich der Kirche Groß St. Martin, durch eine vorgelagerte Insel vom eigentlichen Strom geschützt. Der in den folgenden Jahrhunderten verlandete Rheinarm wurde im Mittelalter mit der sog."Rheinvorstadt" bebaut. Seit dieser Zeit benutzte die Rheinschiffahrt den gesamten Uferabschnitt vor der rheinseitigen Stadtmauer zwischen Bayenturm im Süden und dem Kunibertsturm im Norden als Anlegestelle und Hafengelände.

Nach der weitgehenden Zerstörung der Hafenanlagen Ende des 18. Jahrhunderts durch Eisgang, wurde ein neues Hafenbecken östlich des heutigen Ebertplatzes errichtet, das schon bald nicht mehr den Erfordernissen entsprach. Als Folge daraus entstand im 19. Jhd. zwischen Markmanns- und Mühlengasse ein neuer Zoll- und Freiheitshafen, dort wo heute die Personenschiffe der Köln- Düsseldorfer- Rheinschiffahrts- Gesellschaft vor der historischen Altstadt anlegen. Mit dem Beginn der Dampfschiffahrt auf dem Rhein ab 1820 und dem Bau der Eisenbahnen stieg das Handelsaufkommen und machte neue Pläne zum Bau eines Hafenbeckens erforderlich. Die Entscheidung fiel auf den Standort einer natürlichen Rheininsel südlich der Altstadt, im Volksmund das "Wertchen" genannt. Diese Insel diente bis zu dahin als Freizeitinsel für die Kölner Bevölkerung zum Flanieren und Baden.

Zunächst hieß der Hafen "Becken am Bayen", später nach seinem Bau ab 1892 zur befestigten Form "Rheinauhafen" in der noch heute weitgehend vorzufindenden Substanz. Etwa zeitgleich mit dem Rheinauhafen entstehen die Häfen in Deutz und Köln-Mülheim. Der Rheinauhafen gliederte sich in den Zollhafen im Norden mit dem Hauptdienstgebäude an der Spitze der Halbinsel (heute Schokoladenmuseum), dem kleinen Dienstgebäude und den Lagerhallen 10, 11, und 12 entlang der "Hansawerft", sowie die übrigen Hafenbereiche auf der Halbinsel mit Lagerhallen privater Handelsgesellschaften, Gleisanschlüsse und Kranbahnen.

Am Südende des Hafenbeckens entstand das städtische Hafenamt, das Krafthaus zum Betrieb der hydraulischen Anlagen und ein Lokschuppen - südlich davon der Hafenbahnhof. Der Bayenturm befindet sich auf dem Hafengelände, stammt aber aus dem Mittelalter und übernahm nie Hafenfunktionen. In den Jahren 1909 / 1910 entstand im Süden des Hafengeländes ein 170 m langes Lagergebäude, wegen seiner äußeren Form mit sieben Giebeln im Volksmund auch "Siebengebirge" genannt und im Anschluss noch weitere Silos und Lagerhallengebäude bis in den Einzugsbereich der Südbrücke.