„Ich fand immer, daß diese Band etwas ganz Besonderes hatte“, sagte Conor Oberst vor gut einem Jahr. „Allerdings war da (bei Saddle Creek Records) nicht jeder meiner Meinung.“ Conor nahm Tilly And The Wall schließlich bei seinem eigenen und noch jungen Label Team Love unter Vertrag (in den USA veröffentlichen dort auch Willy Mason und Rilo Kileys Jenny Lewis) und produzierte zusammen mit dem Ex-Cursive-Gitarristen Stephen Pedersen in dessen Haus im Dezember 2003 ihr Debüt Wild Like Children.