Efekty nie mają tu nic do gadania. Te same parametry kompresji bez i z efektami dają w wyniku plik o tym samym rozmiarze (ewentualnie o różnicy mniejszej niż 1%). Musiałeś coś skopać w opcjach kodeków.
W uproszczeniu robisz tak (vegas 4.0, w siódemce powinno być podobnie):
1. File - Render as
2. Wybierasz Custom i w następnym oknie wybierasz rozmiar klatki, frame rate i rodzaj kodeka
3. Po wybraniu kodeka powinna być dostępna konfiguracja jego parametrów. Popróbuj z kilkoma ustawieniami, poszukaj na forum kilku rad.
Gdy znajdziesz interesujące Cię ustawienia, możesz je zapisać do profilu, żeby potem renderować od razu za ich pomocą. Jeśli nadal będzie coś nie tak, to prawdopodobnie masz bałagan w kodekach. 10s filmu nie zajmuje 500Mb nawet bez kompresji...
To, że render trwał tak długo to normalka. Jeśli masz kilka efektów nałożonych na siebie, które mocno ingerują w obraz, to nawet mocna maszyna będzie się pocić.