hi <br><br><div><span class="gmail_quote">On 10/24/07, <b class="gmail_sendername">jim stockford</b> <<a href="mailto:jim@well.com">jim@well.com</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<br>christian,<br>    would you describe, briefly, what you need for<br>storage for Digital Tipping Point? Mainly, can you<br>figure out how to work with a few hundred Gigabytes<br>of some storage that's internet accessible?
</blockquote><div><br>Jim, thanks for asking.  I don't have the details to answer your question.  That question is going to have to be answered by Jonathan Grindstaff, who wrote Jonathan's Video Glue (JVG), the name that we give to the BASH scripts that we use for automating certain processes for capturing, compressing, exporting and uploading video to the 
<a href="http://archive.org/details/digitaltippingpoint">Internet Archive's Digital Tipping Point Video Collection</a> (IA DTP VC).  You can see the IA DTP VC here:<br><br><a href="http://archive.org/details/digitaltippingpoint">
http://archive.org/details/digitaltippingpoint</a><br><br>You can see a flow chart here for Jonathan's tools:<br><br><a href="http://digitaltippingpoint.com/wiki/index.php?title=From_Tape_to_Archive">http://digitaltippingpoint.com/wiki/index.php?title=From_Tape_to_Archive
</a><br><br>Jonathan is the DTP point person on the kinds of questions that you are asking.  I have also cc'd Adam Doxtater (founder of Mad Penguin) and Margaret Aranyosi (co-founder of Bold <a href="http://Everything.com">
Everything.com</a>), who are our two sys admins for the DTP.  The stuff that you are talking about are not directly relevant to what Adam and Margaret are doing, since they admin the server that is running <a href="http://digitaltippingpoint.com">
digitaltippingpoint.com</a>, but they have been gracious enough to help us brainstorm in the past when we have had some deep sys admin type of issues, so I am just keeping them in the loop.  But the DTP raid storage solution that Jonathan will outline for you will be running locally somewhere, maybe even at the hacker hang-out that Kristian has been talking about.
<br><br>The idea is that in order for our DTP project to scale up, we are going to need to have more than just Christian Einfeldt having access to the rough-edited DV that is our "source code".  We are going to be emailing and FTPing around xml-type files with the edits for the "source code" and it will be useful for a few people to have commit privileges for that stuff, and also to access the actual raid that houses the data.  
<br><br></div><br><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"> For<br>example, maybe upload the stuff you're currently<br>working on and/or the positively to-be-used stuff
<br>and keep not-yet-edited and not-to-be-used stuff<br>elsewhere.<br>    just out of curiosity, where is your stuff stored now?<br>on tapes?</blockquote><div><br>Right now, the holy of holies (to use a maybe not so apt phrase) is the 450 miniDV tapes that contain the interviews and b-roll that is our film.  Many of the interviewees spoke with us on the condition that portions of the footage not be publicized anywhere.  So we are having to cut out certain segments before we can load the footage onto the IA DTP VC for the world to play with.  Our eventual goal is to let the video kiddies play with our footage on Jumpcut and YouTube and Eyespot.  People will be grabbing our footage from the IA DTP VC and our Digital Tipping Point channel on YouTube and playing with it.  That will create interest in our film (hopefully) so that people will want to see the high res footage.  
<br><br>We envision the high res footage eventually being released cinematically and on DVD.  I believe that in only a few years, the movie industry is going to switch to a business model that ensures high booking rates in the same way that the airline industry tries to keep its planes full.  
<br><br>Currently, there is a crisis in the entire content industry.  Everything from books to music to movies to software is feeling the massive wave that we call FOSS.  YouTube and other similar content providers are putting up so much content on the Internet that movie studios and movie theaters can't keep their movies sold or their theaters full.  Even big bands are not selling CDs or legal downloads like they want.  Books are not being purchased.  In each of these industries, there will be one or two or three big hits per publishing house (studio, record label) per year, and those hits have to carry the rest of the publishing house's costs.  
<br><br>So to keep the theaters full, some genius is going to come up with a combination of <a href="http://Digg.com">Digg.com</a> and <a href="http://Fandango.com">Fandango.com</a>.  Both of those sites have a function of aggregating consumer interest, and Fandango sells tickets.  So the movie studios are going to fix it such that people can share video clips with their friends about interesting vids, and then coordinate with their friends to see a film.  As the interest in a film builds, it will be like interest in a flight building.  People will book tickets, except that rather than having to book a seat on a plane weeks or months in advance, people will book a seat in small little theaters that seat maybe 30 to 90 people for a screening.  The theaters will cut down on their losses by assuring a full house, and they will cut down on their costs by viral marketing to push the film and by showing big screen screenings of small films by indie producers.  They will, essentially, be big-screening YouTube!!  
<br><br>As part of the marketing hype for both big studio productions like The Matrix and smaller things like The Blair Witch Project, the theaters will also allow consumers to vote for their favorite pre-roll trailers, both commercial trailers and trailers produced by YouTubers like Caitlin Hill, who is a popular teenager on YouTube.  So in the same way that now there are some major diggers who other diggers use as guide posts for what they are going to digg, in each major movie market there will be a few major diggers who gain prominence and will be able to swing the digg-fandango vote as to what indie and small video shorts will be on the pre-feature trailers.  In many cases, the theater-goers for any individual showing will be people who have very close demographic interests, and in many cases, they will largely know each other and be friends or members of the same club, like the Sierra club, etc.  
<br><br>So, for example, you will have Sierra club members digging Al Gore's film "An Inconvenient Truth" (or something like it) and so on any given showing, the theater will enjoy a full house for say a maximum of three or four showings of "Inconvenient Truth" and then they will be done.  Since they are only going to be screening stuff that is available on the Internet anyway, their costs will be small, and their audiences will be small, but at least the theater will be full.  
<br><br>We are already seeing theaters chop up their space into demographically-discreet segments, so that they can cater to adults, for example, who might want to be able to drink alcohol during a screening.  (I'm not talking about XXX-rated films, just films oriented to mature audiences, as opposed to the teenager date films).
<br><br>Okay, so I digressed there, but the point is that we will have several layers to our film.  We will have the high-res footage that we will try to push through the above-described Digg-Fandango phenomenon; and we will have our low-res clips that will be circulating on YouTube and the IA DTP VC to push the finished products; and we will have multiple module directors who are putting together FOSS-oriented content for people who want to see small films about FOSS and the cool things that people are doing with FOSS.  
<br><br></div></div>But as to your discreet question about our needs for raids, Jonathan is going to have to answer that question. <br>