La Collégiale Saint Hippolyte se visite toute l'année dans la journée. L'église renferme une très belle collection de statues bourguignonnes du XVè siècle (Education de la Vierge, Saint Jacques, une Vierge du Fondateur) de sculpteurs réputés comme Claus de Werve . Certaines de ces statues sont des copies, les originales pouvant être exposées au Louvre ou au Metropolitain Museum of Art ( MET) de New York. L'histoire de la Vierge et l'Enfant est d'ailleurs intéressante à découvrir.
La collégiale abrite aussi deux orgues Cavaillé-Coll qui se font face, un retable de la Passion du XVe siècle et un calvaire sur une poutre de gloire. L'Histoire de Poligny est en partie retracée à l'intérieur grâce aux nombreux vitraux réalisés par Lucien Bégule lui même ou son atelier. Ils datent du XIXe siècle. Le vitrail remarquable du retour des reliques de Sainte Colette fait partie de ceux qui décrivent la vie de cette Sainte si importante pour les Polinois.
Au delà de la découverte de l'architecture d'un style épuré et sobre, la Collégiale mérite une visite aussi pour son mobilier.