Następcą zmarłego opata został Józef Jacek Rybiński. To z jego inicjatywy odnowiono kościół św. Jakuba i szpitalik św. Łazarza, zbudowano nowy pałac opacki (w latach 1754-1756), skonstruowana została nowa ambona, a fasada zachodnia kościoła klasztornego - nakryta nowymi hełmami. Chyba najważniejszą decyzją opata Rybińskiego było polecenie zbudowania organów. Opat najpierw zamówił u młodego organmistrza Jana Wulffa małe organy (w transepcie kościoła), po czym wysłał Wulffa na swój koszt na naukę u najlepszych europejskich mistrzów, by po jego powrocie zlecić mu budowę wielkich organów w nawie głównej.
Najlepsze czasy opactwa skończyły się gwałtownie w 1772 roku z robiorem Polski, kiedy Oliwa znalazła się pod panowaniem pruskim. Państwo pruskie przejęło wszystkie dobra klasztorne z wyjątkiem gdańskich (Gdańsk jeszcze przez dwadzieścia lat bronił swej niepodległości). Opatowi przyznano roczną pensję a klasztorowi pieniężną rekompensatę.
W 1782 roku umarł opat Jacek Rybiński. O stanowisko opata oliwskiego starał sie Bp Ignacy Krasicki, który zresztą był częstym gościem w Oliwie. Król pruski mianował jednak opatem komendatoryjnym swojego kuzyna - księcia Karola Hohenzollerna, który został także opatem pelplińskim.
Karol Hohenzollern-Hechingen nie dbał specjalnie o życie duchowe konwentu, ale otoczenie klasztoru wiele zawdzięcza temu opatowi. Książę opat w 1793 roku wziął w dzierżawę przyklasztorną górę (Pachołek albo Karlsberg - niemiecka nazwa pochodzi właśnie od imienia opata) i zbudował na niej widokowy belweder zastąpiony niemal wiek później kamienną wieżą. Opat gościł też wielokrotnie Bpa Krasickiego, którego uczcił pomnikiem w parku. Odwiedzał opata rónież król Fryderyk Wilhelm II z małżonką Luizą. Tych gości opat także uczcił - jedno ze wzgórz nazwał górą Luizy i wzniósł obelisk upamiętniający królewską obecność.
Opat umarł w 1803 roku. Kolejnym opatem został książę Józef Hohenzollern-Hechingen. To już ostatni opat oliwski i na czas jego urzędowania przypada agonia opactwa. W 1804 roku zostaje przyjęty ostatni nowicjusz - Wojciech Liskowski.
W roku 1807 umiera twórca wielkich organów - ojciec Michał Wulff. W tym samym roku wojska napoleońskie zdobywają Gdańsk. W Oliwie urządzony zostaje francuski lazaret (szpital wojskowy). Kiedy powstaje Wolne Miasto Gdańsk, obejmujące swoimi granicami także Oliwę, klasztor przestaje otrzymywać odszkodowanie od państwa pruskiego i zmuszony jest do wyprzedaży srebra klasztornego. W roku 1813 rozpoczyna się rosyjskie oblężenia Gdańska - ponownie w Oliwie urządzony zostaje lazaret - tym razem rosyjski. Wolne Miasto Gdańsk zostaje przyłączone do państwa pruskiego - faktycznie z początkiem roku 1814, a oficjalnie w roku 1815. Wtedy też nad Oliwą zawisa groźba kasaty klasztoru.
W 1820 roku zostaje wydany zakaz przyjmowania nowicjuszy, a w 1829 - nakaz likwidacji klasztoru. Likwidację udało się odsunąć do roku 1831, kiedy niedowołalnie nastąpiła (1 października 1831). Dobra klasztorne i opackie zostały rozdzielone pomiędzy miasto Gdańsk i króla pruskiego. W dniu kasaty przebywali jeszcze czterej zakonnicy. Trzech z nich umarło w Oliwie w przeciągu roku. Ostatni (ojciec Ludwik Lamshoeft) zmarł w 1841 roku w Węgorzewie. Wcześniej, bo w 1836 roku zmarł ostatni opat oliwskiego klasztoru - Józef Hohenzollern-Hechingen.
W 1831 roku utworzone zostały parafie: katolicka z siedzibą w kościele poklasztornym (w praktyce do 1833 roku - w kościele św. Jakuba, który przez długie wieki był siedzibą parafii) oraz ewangelicka z siedzibą w kościele św. Jakuba (w praktyce od 1834 roku).
