Ryšių istorijos muziejus įsikūręs XVI pab. - XVII a. pr. Rotušės aikštėje pastatytuose pastatuose, kuriais naudojosi to meto pirkliai, besikuriantys netoli miesto centro. Pastatai buvo naudojami kaip sandėliai eksportuojamiems grūdams supilti.
Nuo XIX a. 3-čio dešimtmečio čia veikė Arklių pašto stotis. Rekonstruotuose pagal architekto Žoržo Pusje projektą pastatuose be pašto kontoros ir užeigos patalpų buvo arklidės, sandėliai, karietinė, uždaras kiemas su šuliniu. Tai buvo viena stambiausių pašto stočių Lietuvoje, atitinkanti to meto Europos standartus. XIX a. pabaigoje pastatuose buvo įsikūręs Kauno miesto muziejus.
Po Antrojo pasaulinio karo pastatuose veikė sovietinės armijos aviacijos dalinys.
XX a. 9-o dešimtmečio pradžioje pastatai buvo perduoti Kauno ryšių įmonių susivienijimui, pradėta jų restauracija pagal architektės Saulės Mickevičienės projektą. Išliko nepakeistas pastatų išdėstymo planas, išlaikytas architektūrinio ansamblio autentiškumas, jie pripažinti saugotinais, kaip istoriniai paminklai.
1994 m. keturiuose buvusios pašto stoties komplekso korpusuose įkurtas žinybinis Ryšių istorijos muziejus ir kovo mėn. čia lankytojams duris atvėrė pirmosios ekspozicijos.
