Nació en Padua, departamento de Tolima, el 2 de marzo de 1954 y, antes de emprender su labor literaria, estudió Derecho y Ciencias Políticas en Cali y después ejerció el periodismo. Entre 1979 y 1981 vivió en Europa y a su regreso a Colombia fijó su residencia en Bogotá.
Premio Nacional de Poesía del Instituto Colombiano de Cultura en 1992, Ospina es un intelectual comprometido, que participa de la idea de Gabriel García Márquez de que el binomio cultura-educación es la clave para resolver la «tragedia nacional». Sus versos acercan dos orillas, los lenguajes del indio y el navegante que se descubren por primera vez, o los ritmos de la naturaleza y de las ciudades modernas.
Su ensayo¿Dónde está la franja amarilla? (1997) llevó a protestas civiles. La obra defendía la idea de una movilización de la sociedad concienciada -para él representada por la franja amarilla de la bandera colombiana- contra la corrupción y la violencia. La bandera colombiana tiene tres colores: azul (partido conservador), rojo (liberal) y amarilla.
Autor de un amplio poemario, entre otros es autor de Hilo de arena (1986), La luna del dragón (1992), El país del viento (1992) y ¿Con quién habla Virginia caminando hacia el agua? (1995) y más recientemente, Las auroras de sangre (2007). Como ensayista ha publicado Aurelio Arturo (1991), Es tarde para el hombre (1994), Esos extraños prófugos de Occidente (1994), Los dones y los méritos (1995), Un álgebra embrujada (1996), ¿Dónde está la franja amarilla? (1997), Las auroras de sangre (1999) y Los nuevos centros de la esfera (2001).
En 2005 publicó su primera novela, Ursúa, el primer título de una trilogía sobre la conquista de América. En este texto narra la historia del conquistador español y fundador de la ciudad colombiana de Pamplona, Pedro de Ursúa. La obra fue V Premio Nacional de Literatura 2006 en Colombia. El País de la Canela, por el que este jueves fue premiado, constituye la segunda obra de esa trilogía y en ella describe el descubrimiento del río Amazonas por los conquistadores.