Het Odeon verving waarschijnlijk een ouder gebouw, mogelijk het bouleuterion – de raadzaal waar burgers van Kos bijeenkwamen voor politieke discussies.In 142 n.Chr. trof een zware aardbeving het eiland, die het theater beschadigde. Keizer Antoninus Pius financierde de herstelwerkzaamheden, wat het odeon een keizerlijke touch gaf. 

Anders dan de enorme openluchttheaters elders in het Romeinse Rijk, was dit een compact en overdekt gebouw. Ideaal voor intieme optredens. Het dak beschermde tegen regen, wind en felle zon, zodat muziekconcerten, poëzievoordrachten en zangwedstrijden het hele jaar door konden doorgaan. 

Er was plek voor zo'n 750 toeschouwers, wat het perfect maakte voor een select publiek.Qua architectuur was het 12 meter hoog. Het had vier stevige muren die het dak droegen, en de zitplaatsen (de cavea) vormden een halve cirkel met 14 rijen. De eerste negen rijen waren van glanzend wit marmer, gereserveerd voor de elite – denk aan rijke kooplieden, artsen en ambtenaren die met uitzicht op het podium zaten. De hogere rijen waren van eenvoudiger steen, voor het gewone volk.

Onder de tribunes liepen gangen en bogen, gesteund op pilaren van ruwe steen, waar toeschouwers konden schuilen of wandelen. 

Het podium was pentagonaal (vijfhoekig) van vorm, met een proscenium en achtertoneel, en de orkestvloer was versierd met marmeren mozaïeken. Dankzij inscripties weten we dat het niet alleen voor amusement diende: het was ook de zetel van de Gerousia, een ere-raad zonder echte politieke macht, maar wel verantwoordelijk voor het uitreiken van eerbetuigingen en medailles aan verdienstelijke burgers. Zo klonken hier niet alleen liederen, maar ook toespraken.