Pierwsza wzmianka o miejscowości pojawia się w 1232 r. w dokumencie wydanym przez Władysława Odonica, w którym zezwalał Zakonowi Templariuszy na lokowanie wsi Koźmin. Nazwa ma charakter dzierżawczy i pochodzi od imienia Koźma, które jest fonetyczną odmianą imienia Kosma, zapożyczonego od łacińskiej formy Cosmas. Należało ono do właściciela, a jednocześnie założyciela osady.

Najstarszy zapis pojawił się, jak już wcześniej wspomniano, w 1232 r. i brzmiał „Cosmeno”, a już pod koniec XIII wieku przekształcił się z rzeczownika rodzaju nijakiego w rodzaj męski „Cosmin”, natomiast w XIV i XV wieku pisano: „civitatis nostre Horle sive Kozmino”. Na podstawie tego można wysunąć hipotezę, iż w tych wiekach Koźmin posiadał drugą nazwę Orla, pochodzącą od nazwy rzeki, nad którą był położony. Obecnie nazywa się tak wieś leżąca w okolicy omawianego miasta. Pod koniec XIV wieku spotykamy zapis „Wielgi Koszmin”. Dziś powiedzielibyśmy „Wielki”, gdyż „Wielgi” był jego fonetyczną odmianą w języku staropolskim. W języku łacińskim nazwa ta brzmiała : „Magna” lub „Maior Koźmin” i takie właśnie zapisy zachowały się z XV stulecia: „de maiori Cosmin” i „de magna Coszmyn”. Nazywanie Koźmina „Wielkim” wynikało z konieczności odróżnienia go od innych miejscowości noszących to samo miano, a przede wszystkim od Małego Koźmina, dzisiejszy wsi Koźminek.

Na podstawie zapisów z drugiej połowy XV wieku „Nova Coszmyn” i XVII wieku „Kozmin Stary” dowiadujemy się o istnieniu Starego i Nowego Koźmina. Ten drugi tworzono w związku z masowym napływem sukienników do miasta, a w celu odróżnienia obu miejscowości od wcześniejszej dodano określenie „Stary”. Nieco później, w XVIII wieku ówczesna właścicielka, Elżbieta z Branickich Sapieżyna założyła trzecie miasto zwane Koźminem Niemieckim od nacji przeważającej w tej części miasta. Obecna nazwa obejmująca już wszystkie połączone części pochodzi dopiero z końca XIX stulecia. Legenda zaś podaje jakoby Koźmin miał zaczerpnąć swą nazwę od polany nazwanej przez założyciela osady Koszem Żmij (od ułożenia kamieni przypominającego kosz i znajdujących się na tym terenie żmij).