Violent Things fue escrito por Dallon Weekes y grabado por el productor Casey Crescenzo en su estudio en el sótano de su casa en Boston, MA durante un período de dos semanas. Cuenta con Darren Robinson de Phantom Planet en la guitarra. En una entrevista en línea, Weekes declaró que, aunque estaba mayormente satisfecho con 'Violent Things', el disco nunca fue mezclado ni masterizado, y que debido a la falta de recursos para completar la grabación, el disco fue lanzado como 'inacabado'.
En 2011, Weekes regrabó personalmente "Visitation of the Ghost" en un estudio en el sur de California. Reveló que decidió hacerlo ya que "nunca estuvo del todo contento con la versión" del álbum oficial. Esta versión alternativa de "Visitation of the Ghost" fue lanzada en Bandcamp en el mismo año como un bono de aniversario.