Wie schon sein Vater Johann Josef zuvor, war Carl Ludwig Littrow bemüht, den Bau einer neuen Sternwarte durchzusetzen. Er legte, nachdem er 1842 Direktor geworden war, im Jahre 1846 den zuständigen Behörden Pläne für einen Neubau vor, die jedoch abgelehnt wurden. 

Dank der Unterstützung einflußreicher Persönlichkeiten erhielt Littrow aber 1850 die Möglichkeit, ein detailliertes Programm für eine neue Sternwarte vorzulegen. Er forderte eine "thunlichst" ruhige, von Erschütterungen und Getöse freie, durch reiche Vegetation in nächster Umgebung, vor Erhitzung des Bodens und Staub gesicherte Gegend auf mäßiger, vor Verbauung der Aussicht bewahrender und durchsichtigere Luft gewährender Anhöhe.“

1858 erfolgte die Aufhebung des Bauverbotes beim Linienwall (=Wiener Zollgrenze), wo auf einem Hügelrücken zwischen Währing und Hernals die neue Sternwarte gebaut werden sollte. Es konnte schließlich am 14. März dieses Jahres die endgültige Genehmigung für die Errichtung erteilt werden.

Im Rahmen des 1867 neu geplanten Hauptgebäudes der Universität am Ring wurde auch der Neubau einer Sternwarte am Dach dieses Gebäudes überdacht. Allerdings kam es nicht zur Durchführung. In der Folge wurde C.L.Littrow die Aufgabe gestellt, eine Sternwarte zu gründen, die in der Donaumonarchie eine führende Rolle übernehmen sollte und daher auch instrumentell hervorragend auszustatten sei. Nach Studienreisen der Professoren C.L. Littrow und E.Weiss an Sternwarten in Deutschland, Amerika und England entschied man sich als Vorbild, die Berliner Sternwarte zu nehmen.

Die architektonische Umsetzung nahm der Bauingenieur der Generalbaudirektion Hieronimus Schaller vor, ein Ratgeber Littrows. Er schlug ein 5,5 Hektar großes Areal im südlichsten Teil der sogenannten „Türkenschanze“ vor, das einerseits weit genug von der Stadt entfernt war um gute Beobachtungsbedingungen zu gewährleisten und andererseits nahe genug gelegen war, um den Kontakt mit der Universität aufrechtzuerhalten.

Von 1874-1879 wurde die Sternwarte nach Plänen der Architekten Hermann Helmer und Ferdinand Fellner, Spezialisten für Theaterbauten, nach den Vorgaben Littrows gebaut. Der Spatenstich erfolgte am 15. Juni 1874. Drei Jahre nach Baubeginn starb Carl Ludwig Littrow. Er erlebte die Fertigstellung der Sternwarte, die 1878 mit der Vollendung der großen Kuppel erfolgte, nicht mehr.

Im Juni 1879 übersiedelte das Astronomieinstitut von der alten Universität in das neue Sternwartengebäude, dessen Einrichtung mit allen nötigen Instrumenten jedoch bis 1882 dauerte. 

Die noch brauchbaren Geräte der alten Sternwarte wurden in den Neubau übersiedelt und neue Hauptinstrumente - ein großer Refraktor aus Dublin, zum Zeitpunkt der Aufstellung der größte der Welt,  und ein 12-Zöller aus Boston, USA - angekauft.  Die Gesamtkosten (Grundgebäude, Einrichtung) beliefen sich auf eine Million Gulden. 

Die Eröffnung erfolgte am 5. Juni 1883 in Anwesenheit des Kaisers Franz Joseph I. 

Weiß konnte als Mitarbeiter seines Instituts unter anderem Johann Palisa gewinnen, den erfolgreichsten Kleinplanetenentdecker, den Österreich jemals hervorgebracht hat. Für seine zahlreichen Endeckungen wurde ihm auch ein Preis der Pariser Akademie verliehen. Die Sternwarte erhielt in den letzten Jahren der Amtszeit von Edmund Weiß zwei weitere Großgeräte, die durch eine großzügige Spende von Baron Rothschild finanziert wurden: ein Coudè-Fernrohr und einen Normal-Astrographen. 

Nachdem Weiß in den Ruhestand getreten war, folgte ihm 1909 als Direktor der Sternwarte der Südtiroler Joseph von Hepperger, seit 1901 Ordinarius der Astronomie an der Universität Wien, nach. Durch die allgemeine Notlage des 1. Weltkrieges waren ihm jedoch materiell sehr enge Grenzen gesetzt.

Der nachfolgende Direktor, Kasimir Graff aus Hamburg berufen, konnte nur wenige, aber teilweise wesentliche Verbesserungen der Sternwartenausstattung erreichen, wie z.B den Einbau der Hebebühne für den großen Refraktor. 1938 bis 1945 wurde Graff aus politischen Gründen zwangspensioniert. 
Ihm folgten Bruno Thüring (1941-1945) und, nach einer zweiten Amtszeit Graffs, Josef Hopmann (1952-1962) nach.

Nächster Institutsvorstand war Joseph Meurers (1962-1979), unter dem weitere bauliche Veränderungen durchgeführt wurden und der den Bau einer Sternwarte im Wienerwald (Observatorium am Mitterschöpfl) durchsetzen konnte. Unter ihm wurde von Dr. T. Widorn ein Radioteleskop mit einem Spiegeldurchmesser von 3 m auf der Plattform des ehemaligen Coudè-Gebäudes montiert, das jetzt von der Technischen Universität revitalisiert wird.