Ausgangspunkt für die Planung der Kunstbibliothek ist es, Begegnungen in der Stadt zu fördern und attraktive Aufenthaltsorte abseits der konsumgeprägten Stadt zu schaffen. Beeinflusst wird die Planung maßgeblich durch die städtebaulichen Rahmenbedingungen. Dabei sind es drei bedeutende Faktoren, durch die der Entwurf entstanden ist: die Topographie des Stintfangs, der Rundweg mit der Verbindung zum Alten Elbpark sowie die Umnutzung eines Tiefbunkers aus dem Zweiten Weltkrieg.
Durch den Bunker, der freigelegt und dessen Äußeres von Innen sichtbar gemacht wird, ist das Konzept der einzelnen Baukörper entstanden, die sich bis in das Erdreich ziehen. Dabei stellt der Bunker das Herzstück der Kunstbibliothek dar. Es ist nicht der erste Augenblick der Betrachtung, der ein Werk vollständig offenbart. Vielmehr sollte Architektur erlauben, an ihr vorbeizuschauen. Die Architektur verbindet sich zwischen Verstecken und Entdecken.