Den bygning, som Post & Tele Museum har til huse i, har en lang historie i kommunikationens tjeneste:

Postgården i Købmagergade stammer fra tiden efter Københavns brand i 1728. Her byggede man det, der dengang blev benævnt Møinichens palæ og som i en længere årrække var i Kongens besiddelse. Han benyttede det bl.a. til bolig for Overhofmarskallen, hvorfor palæet længe gik under betegnelsen "Marskalsgården".

I 1779 købte Generalpostamtet i København bygningen. Postgården, som dengang kun omfattede bygningerne på hjørnet af Købmagergade og ned ad Valkendorfsgade, blev taget i brug den 31. marts 1780. Den rummede de fire postkontorer: det danske postkontor, det norske postkontor, det altonaiske postkontor samt det lollandske-helsingørske postkontor Fra 1806 kom det københavnske fodpostkontor til. Det var det første kontor for udbringning af lokal post til dørene.

Generalpostamtet kom fra lokaler på Slotsholmen til Købmagergade, hvor der foreløbig var væsentligt bedre plads. Bl.a. plads nok til 19 værelser til privatbolig til førstedirektøren.

I årenes løb blev postgården ændret og udvidet ved køb af naboejendommene. Og senest i 1900 blev naboejendommen på hjørnet af Købmagergade og Løvstræde opkøbt, og det nuværende sammenhængende kompleks Valkendorfsgade, Købmagergade og Løvstræde etableret. Bygningskomplekset fik sit nuværende udseende efter en stor ombygning i årene 1917-1922. 

Interurbancentral

I 1922 indrettede Statstelefonen den såkaldte interurbancentral i bygningen på hjørnet af Købmagergade og Løvstræde. Centralen var et vigtigt led i sammenkædningen af telefontrafikken mellem landsdelene, men blev lukket igen med udgangen af 50'erne efter udbygningen af automatiseringen. Lokalerne overgik i stedet til opgaver inden for telegrafen, telex og fjernskriverafdeling.
Imidlertid løb den tekniske udvikling igen fra deres brugsværdi, og så sent som i 1993 flyttede Tele Danmark fra stedet og overlod atter lokalerne til Købmagergade Postkontor.

I dag er Købmagergade en af de mest betydningsfulde handelsgader i København. 30.000 mennesker færdes der daglig. Dermed er det den mest benyttede gade i Danmark efter Strøget.

Helt tilbage i Middelalderen udgjorde Købmagergade sammen med Strøget og Fiolstræde det overordnede gadenet i byen, og Købmagergade var også inden erhvervelsen af Postgården tæt knyttet til post- og senere telehistorien. Bl.a. erhvervede Generalpostametet den daværende Generalpostdirektør Erlunds gård i Købmagergade, som dog gik op i flammer under indretningen i 1728. Senere ejede Generalpostamtet en gård andetsteds i gaden, hvor der i første omgang skulle være laugshus, tilsigelseskontor, værtshus, aftrædelsesværelser til rejsende, stalde til 12-16 heste samt tilhørende kareter og postvogne, fouragelofter, lejligheder til postkarlene m.v. Senere søgte man at afhænde gården til et gæstgiveri, som dog skulle betegnes "Kongelig allernaadigst priviligeret Post- og Gæstgivergård".

Efter Telecom flyttede fra Købmagergade stod lokalerne tomme, indtil Post & Tele Museum åbnede i oktober 1998.