Linna uued asukad, kõikjalt Nõukogude Liidust kohale veetud inimesed, ei tundnud end uuel kodumaal kuigi õdusalt. Lossi kohta levis kõiksugu linnalegende: räägiti, et selle keldrites varjavad end ikka veel natsid, kes liiguvad maa-aluseid ühendusteid pidi takistamatult linna all ringi. Jutustati hiiglaslikust relvatehasest, mis asunud otse lossi all. Ning muidugi sosistati sinna peidetud mõõtmatutest varandustest; üht neist – legendaarset Merevaigutuba – otsisid entusiastid eriti agaralt.

Kas just neil põhjustel või mingitel muudel, aga Nõukogude võim otsustas 60. aastate keskel Königsbergi lossi jäänused õhku lasta. Plats tasandati buldooseritega. Asemele ehitati mõne aja möödudes uus loss – hiiglaslik Dom Sovetov (Nõukogude maja), mis pidi muutuma Kaliningradi oblasti kõikide juhtstruktuuride peakorteriks. Seda ei juhtunud, sest juba valmimisjärgus hoone seintesse ilmusid ohtlikud praod. Preisi vaim ei sallinud uusi puuslikke.

Turumajandusele ning Euroopaga sidemete taastamisele orienteeritud Kaliningradi uus administratsioon tahaks näha kunagise Saksa ordu üht peamist linnust taas linna kohal kõrgumas. Muidugi ei kavandata kogu ehitise taastamist. Jutt on vaid selle mõningate elementide mulaažist. Ehituse esialgseks kuluks on pakutud 100 miljonit dollarit.