En 1904 la Hermandad se trasladó de manera provisional a la iglesia del Convento de San Esteban convirtiéndose en una cofradía estrictamente penitencial. Un año más tarde organizó su propia procesión, siendo la primera cofradía que desfiló de forma independiente, ya que hasta entonces la Vera Cruz tenía el privilegio de organizar todos los desfiles que se realizasen en la ciudad durante la Semana Santa.
En 1909 trasladó su sede en la Iglesia de San Benito. En 1922 hubo un nuevo traslado, fijando su sede canónica en la Catedral Nueva, ocupando en un principio la capilla de Ntra. Sra. de la Cabeza y desde 1934 la de Ntra. Sra. de la Luz, actualmente conocida como capilla de Ntra. Sra. de la Soledad.
En 1940 se encargó a Mariano Benlliure una nueva imagen de la Virgen que fue bendecida el Domingo de Ramos de 1941. La dureza de los rasgos de la talla no gustó a los cofrades, por lo que la imagen fue devuelta a su autor en 1943 para modificarla. La nueva imagen gustó tanto a los cofrades que el autor fue nombrado hermano honorífico.
En 1944 la cofradía pretendió incorporar a su desfile la imagen de la Piedad de Luis Salvador de Carmona que también se venera en la Catedral Nueva. El obispo Francisco Barbado Viejo negó su solicitud cediendo la imagen para su procesión a la recién creada Hermandad Dominicana.
El suceso más triste en la historia de la Hermandad se produjo en la madrugada del 30 de marzo de 1985, cuando unos desconocidos entraron en la Catedral robando todo el ajuar de la imagen, incluida la corona que realizará el taller de joyería Cordón en los años 30 del s. XX. A partir de este hecho se incrementó el número de altas de hermanos, a modo de acto de desagravio, y se recibieron numerosas donaciones con las que recomponer el ajuar de la Virgen, si bien no se pudieron recuperar las joyas originales. Es digno de destacar el valor artístico de la corona perdida, que no ha sido recuperado en la réplica actual.
El 15 de junio de 1991 la Hermandad conmemoró el cincuentenario de la imagen con una ofrenda floral a la Virgen, colocada en su paso, ante la Puerta de Ramos de la Catedral Nueva. La aparición de la lluvia obligó a celebrar la eucaristía posterior en el interior del templo, si bien a su término la imagen pudo salir en procesión extraordinaria por las calles del barrio antiguo de la ciudad.
Debido al elevado número de cofrades que participaban en el desfile acompañando a un solo paso en 1997 se incorporó un segundo paso de carácter alegórico llamado "Soledad de la Cruz" y realizado por Vicente Cid.
En octubre de 2005 la Hermandad organizó el XXXII Encuentro de Hermandades de Ntra. Sra. de la Soledad, que se celebró por primera vez con carácter nacional.
A finales de 2008 surgió la propuesta de alargar el recorrido de la procesión, pasando a recorrer más de 7 kilómetros y llevando a Nuestra Señora de la Soledad por los puentes de la ciudad. Este proyecto no se desarrolló sin embargo durante la Semana Santa de 2009 y actualmente sigue estudiándose su viabilidad, pues son varios los problemas que se presentan para su desarrollo.