Alluvast vabanemine võttis kuid
Kevadel 1939 hakkasid välisministeeriumisse Selteri nimele tulema kummalised anonüümkirjad, milles valgustati ministri majandusmahhinatsioone. Algul ei pööratud neile erilist tähelepanu ning kirjad “kuidas Karl Selter rikkaks sai” visati lihtsalt prügikasti. Anonüümkirjade saatja oli aga järjekindel, juunis postitas ta veel kaks kirja. Lõpuks Selter vihastas ning andis oma abile Oskar Öpikule käsu kirjade kirjutaja üles leida.
Öpik jõudis peagi järeldusele, et pahategija peab olema oma maja inimene. Ning kindlasti tundma Selterit aastatest 1933-1938, mil too oli majandusminister. Öpiku detektiivitöö oli edukas, ta selgitas välja, et anonüümkirjade taga on välisministeeriumi esimene sekretär Philip Kaljot. Kaljot nimelt oli endine majandusministeeriumi direktor ehk kantsler, kes 1934 määrati Eesti esindajaks Prahasse. 1938. aasta algul viidi Kaljot üle saatkonnanõunikuks Berliini, kust ta aasta pärast peamajja tagasi kutsuti.
Juuni lõpul kutsus Öpik Kaljoti oma kabinetti ja tegi talle ettepaneku kirjutada lahkumisavaldus. Kaljot keeldus ja saatis ministri abi pikalt. Välisministeeriumi juhtkond pidas seejärel kaks nädalat nõu, mida tõrksa alluvaga ette võtta. 15. juulil teatas administratiivosakonna direktor Elmar Kirotar lõpuks Kaljotile: “Ministeerium annab teile veel kolm päeva aega järelemõtlemiseks ja vabatahtlikult lahkumispalve esitamiseks.” Vastasel juhul, ähvardas Kirotar, teeb ministeerium valitsusele ettepaneku Kaljot vallandada.
Kaljot kirjutaski palve, ent hoopis õiguskantslerile, paludes end võtta kaitse alla välisministeeriumi tagakiusamise eest. Mõju suurendamiseks esitas ta avalduse ministeeriumi kaudu. Tulemuseks oli see, et vallandamisettepanek jäi valitsusele esitamata. Samas hakati palavikuliselt otsima muid teid tülikast ametnikust vabanemiseks. Minister Selter andis korralduse moodustada juhtumi uurimiseks erikomisjon, kuhu kuulusid ka Öpik ja Kirotar.
Komison tegi kindlaks, et anonüümkirjad on suure tõenäosusega kirjutatud ühel ministeeriumi neljast Royal-tüüpi kirjutusmasinast. Kohtuliku Ekspertiisi Instituudi ekspertiis kinnitas seda arvamust – kirjad trükiti arhiiviruumis asuva kirjutusmasinaga. Veel mitmete tõikade kõrvutamisel otsustas komisjon, et Kaljot on süüdi ning 24. augustil 1939 vabastati ta ametist. Komisjon selgitas välja ka anonüümkirjade saatmise motiivi. Nimelt määras Selter Berliini saatkonda Kaljoti asemele uue nõuniku, mis põhjustaski esimese sekretäri viha ministri vastu.

Häda rikkuse pärast
Kaljot ei olnud ainuke, kes välisministri vara päritolu kohta vihjeid levitas. Selteri kohta liikusid kuuldused, et ta võttis majandusministrina altkäemaksu litsentside andmisel. Igal juhul hakkasid need jutud välisministrit häirima. Jaanuaris 1939 saatis Selter president Pätsile palve, et õiguskantsler selgitaks neid kahtlustusi. “Minuni on ulatunud teade, et rahva seas, teatud ringkondades on levitatud kuuldusi, et minul olevat väga suuri, teadmata päritoluga kapitale, missugust oletust kasutatakse minu kui endise majandusministri, samuti ka tolleaegse valitsemise ajajärgu kahtlustamiseks ja halvustamiseks,” kirjutas Selter.
President rahuldas ministri palve. Kuid õiguskantsler Anton Palvadre ei selgitanud neid kahtlustusi iialgi. Detsembris 1939 teatas Palvadre presidendile: “23. jaanuaril 1939 leppisin K. Selteriga kokku asja selgitamise viisi ning K. Selter pidi selle kokkuleppe kohaselt esitama mulle vastavaid andmeid lähemail päevil. Neid andmeid pidin mina kontrollima ja tarbe korral ka uusi andmeid ja tõendeid nõutama. Kuid K. Selter ei esitanud mulle mingisuguseid andmeid asja kohta.” Kindlasti ei olnud president Päts uurimisest ka huvitatud, sest välisminister oli tema poja Viktoriga tihedalt seotud. Selter sellega ilmselt arvestaski ning tema palvekiri oli rohkem demonstratiivne akt.
Karl Selteri poliitiline tõus algas sügisel 1933, mil temast sai majandusminister. Ta rajas hulga uusi riiklikke suurettevõtteid, mille juhatustesse paigutas oma inimesed ning ise sai Balti Puuvillavabriku enamusaktsionäriks. “Selter on Viktori kandidaat. Sel grupil, keda ta valitsuses esindab, ei ole esikohal riiklikud huvid, vaid selle grupi ja isiklikud huvid,” iseloomustas ministrit kindral Jaan Soots. Soots oli Tallinna ülemlinnapea, kelle valitsus 1939 vahetas välja neile ustavama kindrali, Aleksander Tõnissoni vastu. Seega võis kahtlustel tõepõhi all olla.
Mais 1938 nimetati Selter Kaarel Eenpalu valitsuse välisministriks. Just tema ajal muutus Eesti välispoliitiline orientatsioon anglosaksisõbralikust saksasõbralikuks, mida ka Selterile ette heideti. Nagu edasised sündmused näitasid, oli valik ekslik. Septembris 1939 juhtis Selter Moskvas Eesti delegatsiooni ning allkirjastas saatusliku baasidelepingu. “Baaside nõudmine tabas Eesti valitsust magamise pealt,” kommenteeris kindral Soots.
Sellest, mis Eestit ja teda ennast peagi ees ootab, sai Selter pärast baasidelepingu allakirjutamist hästi aru. August Otsa mälestusteraamatu andmeil lasi Selter Moskvast koju jõudes kohe oma ja abikaasa talveriided ning kasukad ära tuua firma Mertens koivabast hoiulaost. Oktoobris 1939 Selter lahkus välisministri kohalt. Ta küsis presidendilt enda määramist Eesti saadikuks Berliini, kuid sellele oli kategooriliselt vastu uus välisminister Ants Piip. Kompromissina määrati Selter Eesti esindajaks Rahvasteliidu juurde Genfi.
1939. aasta lõpul pühkis Selter Eesti tolmu jalgelt ning siin toimuv teda enam eriti ei huvitanud. Oktoobris 1941 kurtis USAs asuv diplomaat Kaarel Robert Pusta, et Selter ei reageeri ei kirjadele ega telegrammidele. Suvel 1945 teatas Pusta kirjas saadik August Tormale Londonisse, et Selterist pole vist keegi kuulnud juba kolm aastat. Eksvälisminister nautis rahulikku elu Šveitsis kuni surmani 1958. aastal.